# Incident Garden — Документация > С чего начать работу с Incident Garden и где искать ответы. The documentation on this site is written in Russian. Документация опубликована на https://incidentgarden.ru/docs/. Пути в заголовках страниц ниже относятся к https://incidentgarden.ru; пути внутри текста относятся к приложению, если указано явно. ## Введение — /docs/ - алерты из мониторинга проходят обработку, эскалацию по дежурным и доставку уведомлений - начать с Quick Start; модель организации --> Начало работы; как устроено --> Концепции; форматы и лимиты --> Справочник ## Quick Start ### Быстрый старт — /docs/quick-start/ - 6 шагов: регистрация --> команда --> расписание --> политика эскалации --> интеграция --> тестовый алерт; для последнего нужен curl ### Регистрация — /docs/quick-start/register/ - регистрация --> подтверждение email (24 часа) --> Create Organization; создатель становится владельцем ### Создание команды — /docs/quick-start/create-team/ - Teams --> Create Team --> Add Member с ролью Admin или Member ### Расписание дежурств — /docs/quick-start/on-call-schedule/ - команда --> вкладка Schedules --> Add Schedule --> Name --> Create --> откроется страница расписания - Add Rotation: Name, Start Date, End Date пусто (бессрочно), Rotate every `1` weeks, в Participants добавить себя как User - Preview показывает распределение дежурства до сохранения ### Политика эскалации — /docs/quick-start/escalation-policy/ - команда --> вкладка Escalation Policies --> Add Policy --> Name --> первый шаг: Activates at minute `0`, Target Type Schedule, созданное расписание --> Create Policy ### Подключение интеграции — /docs/quick-start/connect-integration/ - Add Integration с политикой эскалации, сохранить ключ, прописать адрес `/alerts` в receiver AlertManager ### Первый тестовый алерт — /docs/quick-start/first-alert/ - тестовый алерт: `curl -X POST https://api.incidentgarden.ru/api/v1/integrations//alerts` с телом в формате AlertManager --> ответ `202` - тело не сокращать до одного `alerts[]`: заголовок, лейблы и важность берутся из groupLabels, commonLabels и commonAnnotations - алерт появится в Alerts, уведомление придёт на email аккаунта (канал создан при регистрации) - уведомления нет --> проверить участие в ротации на текущий период и подтверждение email ## Начало работы ### Начало работы — /docs/getting-started/ - порядок настройки: регистрация и подтверждение email --> организация --> участники и команды --> расписания и политики эскалации --> интеграции - раздел объясняет организацию, пробный период, роли, участников и должности; короткий сценарий --> Quick Start ### Организация — /docs/getting-started/organization/ - создать новую организацию нельзя, если вы уже состоите в 5; от тарифа не зависит, приглашения не ограничивает - Slug задаётся при создании и не меняется; Timezone организации это пояс отображения по умолчанию - закрыть организацию может только владелец (Danger Zone, ввод Slug), когда других участников нет и нет платной подписки; закрытие необратимо ### Пробный период (Trial) — /docs/getting-started/trial/ - триал даёт телефонию и отчёты при лимитах Free; включает владелец на плане Free из пробных активаций аккаунта ### Роли и доступ — /docs/getting-started/roles/ - роль организации одна (Owner, Org Admin, Org Member), роль команды своя в каждой команде (Team Admin, Team Member); должность на доступ не влияет - Org Admin и Owner имеют доступ ко всем командам; Org Member только к своим; Team Member дежурит и заводит сайленсы и оверрайды, Team Admin настраивает команду - Transfer ownership: получатель сразу Owner, бывший владелец становится Org Admin ### Участники и приглашения — /docs/getting-started/members/ - людей добавляют только приглашением (Settings --> Invites, ссылка 72 часа); Bulk Invite: до 30 сразу, около 50 в час на организацию - Remove и Leave Organization не сработают, пока у человека есть подтверждённые им незакрытые алерты или он стоит шагом политики эскалации ### Должности — /docs/getting-started/positions/ - должность — подпись из справочника Settings --> Positions, на доступ не влияет ## Интеграции ### Интеграции с мониторингом — /docs/guides/ - интеграция принимает алерты источника по API-ключу и задаёт команду, политику эскалации и маппинг важности - Add Integration на вкладке Integrations команды; ключ показывается один раз, утерян --> Regenerate Key - адрес `https://api.incidentgarden.ru/api/v1/integrations//alerts` для Alertmanager и Grafana, `/webhook` для Zabbix и Generic Webhook ### Подключение AlertManager — /docs/guides/connect-alertmanager/ - receiver с `webhook_configs.url` = `https://api.incidentgarden.ru/api/v1/integrations//alerts` и send_resolved: true - один батч = один алерт; group_by решает, сколько алертов увидит дежурный; заголовок и важность берутся из общих лейблов батча ### Подключение Grafana — /docs/guides/connect-grafana/ - contact point типа Webhook на `https://api.incidentgarden.ru/api/v1/integrations//alerts`, важность из лейбла `severity`, resolved закрывает алерт ### Подключение Zabbix — /docs/guides/connect-zabbix/ - интеграция типа Zabbix, адрес `https://api.incidentgarden.ru/api/v1/integrations//webhook` - Zabbix: media type Webhook «Incident Garden» с параметрами-макросами и готовым скриптом --> привязать к пользователю --> trigger action на проблему и восстановление с условием Trigger severity не ниже High - `{EVENT.ID}` --> dedup_key (восстановление закрывает тот же алерт), `{EVENT.SEVERITY}` --> labels.severity в нижнем регистре, `{EVENT.NAME}` --> title, теги события --> labels - `severity` и `host` зарезервированы скриптом; тег шаблона попадает только в события триггеров этого шаблона, поэтому теги для маршрутизации ставят на хост - тело media type обрезается на 65 535 символах --> событие не отправится - Zabbix повторяет отправку только после ошибки скрипта, попыток не больше, чем задано в Attempts ### Подключение через webhook — /docs/guides/connect-webhook/ - `POST https://api.incidentgarden.ru/api/v1/integrations//webhook`, обязателен `title` - повторы сводятся по `dedup_key`, иначе по `labels`, иначе по `title`; меняющиеся значения слать в `annotations`; важность по умолчанию `critical` ### Подключение Telegram — /docs/guides/connect-telegram/ - администратор организации подключает бота (@BotFather --> токен --> Settings --> General --> Telegram Bot) - для каждой организации отдельный бот: в других сервисах он работать перестанет - добавление канала: Start у бота, Chat ID из @userinfobot или id группы, код подтверждения от бота; замена бота --> настройка канала заново - под алертом в TG кнопки Ack и Resolve ### Настройка важности (severity mapping) — /docs/guides/configure-severity-mapping/ - Edit settings интеграции: Source field, Critical values, Warning values, Default severity (в пресетах `critical`) ### Удаление интеграции — /docs/guides/delete-integration/ - удаление необратимо: ключ сразу перестаёт приниматься; для паузы есть Deactivate - нельзя удалить, пока по интеграции есть открытые алерты (`firing`, `acknowledged`, `silenced`, `delayed`) --> закрыть их через Resolve - вместе с интеграцией удаляются политики и сайленсы, заведённые только на неё; заведённые на все интеграции команды остаются - алерты остаются в истории; пока она хранится (около 90 дней), команду и политику эскалации удалённой интеграции удалить нельзя ## Расписания ### Расписания дежурств — /docs/schedules/ - расписание команды = ротации (дежурство по кругу, работают параллельно) + оверрайды (подмена на период) - Who is On Call на странице расписания --> текущие дежурные с пометкой Rotation или Override - шаг эскалации с расписанием зовёт того, кто дежурит в момент срабатывания шага; дежурных нет --> шаг никого не позовёт - расписание нельзя удалить, пока оно цель шага политики эскалации - расписания и ротации ведут `org_admin`, `org_owner`, `team_admin`; оверрайды также `team_member` ### Ротации — /docs/schedules/rotations/ - участники дежурят по кругу; Start Date задаёт час пересменки; Nobody оставляет период без дежурного - Restrict active hours ограничивает дежурство окнами; правка ротации пересчитывает очередь от Start Date ### Оверрайды — /docs/schedules/overrides/ - оверрайд заменяет дежурных всех ротаций одним человеком на период (пусто = никто); добавлять могут и участники команды ## Политики эскалации ### Политики эскалации — /docs/escalation/ - Escalation Policy — шаги «кого и когда звать» до подтверждения алерта; назначается на интеграцию команды - шаг: Schedule, User или All team members из команды политики; Activates at minute от старта эскалации (у придержанного алерта от пробуждения) - удаление запрещено, пока политику указывает интеграция или алерты; закрытые уходят очисткой через ~90 дней ### Создание политики эскалации — /docs/escalation/create-escalation-policy/ - команда --> Escalation Policies --> Add Policy --> шаги --> Create Policy; работает после назначения на интеграцию ## Политики ### Политики обработки алертов — /docs/policies/ - политика — условия --> одно действие (Drop, Suppress, Hold outside window, Override severity, Add labels); после severity mapping, до сайленсов - проверка сверху вниз; цепочку останавливают Drop, Suppress и придержавший Hold outside window; нижние видят алерт, изменённый верхними - Drop, Override severity, Add labels решаются при создании алерта; Suppress и Hold outside window перепроверяются, пока алерт на паузе ### Создание политики обработки алертов — /docs/policies/create-policy/ - команда --> Policies --> Add Policy: Scope, условия When по И, одно действие Then; новая встаёт в конец списка - лейбла нет --> `!=` и `absent` совпадают; с Drop добавьте `exists` на тот же ключ - Suppress глушит внутри окна, Hold outside window держит вне окна ### Типовые сценарии — /docs/policies/presets/ - не будить ночью --> Severity = warning, Hold outside window с 06:00 до 22:00 - только рабочее время --> Hold outside window с 09:00 до 18:00 по будням - тишина на выходные --> Suppress, Time window All day Сб и Вс; с вечера пятницы --> ещё Suppress с 18:00 до 09:00 Пт, Сб, Вс - отсечь шум --> Label matchers + Drop; при `!=` добавьте `exists` - исключение из тихих часов --> Add labels `exempt=1` выше, Suppress с `exempt absent` ниже ## Сайленсы ### Сайленсы — /docs/silences/ - сайленс ставит новые подходящие алерты команды на паузу до конца своего срока; уже звонящий алерт не остановит - Matchers «ключ = значение» по И, без них подавляется всё в scope; создают участники команды и администраторы, менять может и автор - [механика работы сайленсов](https://incidentgarden.ru/blog/alertmanager-silence-resolved/) ### Создание и управление — /docs/silences/create-silence/ - Create silence на вкладке Silences или кнопка Silence на странице алерта; Type Manual silence или Maintenance - правка Matchers, Scope или Type сохраняется новым сайленсом; Cancel silence вернёт в работу всё подавленное ## Уведомления ### Уведомления дежурных — /docs/notifications/ - уведомления = каналы (куда) + правила (каким каналом и с какой задержкой по важности); Settings --> Notifications, отдельно в каждой организации - при вступлении в организацию: подтверждённый Email-канал на адрес аккаунта и правила `critical` и `warning` --> Email без задержки - эскалация решает, кого звать --> ваши правила решают, какими каналами --> доставка - держите два канала разных типов ### Каналы — /docs/notifications/channels/ - каналы: Email, Telegram, Voice Call (только `+7`), Webhook, Mattermost, Mobile Push; оповещение уходит только в Verified и включённый канал с правилом - звонки с +7 958 778-47-58; голосового помощника оператора отключить ### Правила уведомлений — /docs/notifications/rules/ - правила отдельно для Critical и Warning: канал и задержка от момента, когда вас позвал шаг эскалации; Position на время не влияет - Acknowledge или Resolve снимает неотправленное; Voice Call держит один ожидающий звонок на номер; сохранять кнопкой Save All Rules ## Отчёты ### Отчёты по алертам — /docs/reports/ - раздел Reports работает, когда отчёты входят в тариф; иначе `org_admin` и `org_owner` видят кнопку Go to Billing - у каждого отчёта период и команда плюс свои настройки; отчёт не успел построиться --> сузить период - отчёты: Alert Volume, Not Acknowledged, Escalation Exhausted, Delivery Failures, Response Speed (медианы TTA и TTR), Recurring Alerts, People Load, Who Takes Alerts, Noise Cut, Voice Calls - Voice Calls видят только `org_admin` и `org_owner`, без фильтра по команде - непустой отчёт сохраняется в PDF ## Концепции ### Как устроена обработка алертов — /docs/concepts/ - путь сигнала от приёма до уведомления, статусы алерта, важность и маппинг, ход эскалации ### Конвейер обработки алертов — /docs/concepts/processing-pipeline/ - порядок: интеграция по API-ключу --> дедуп --> важность --> политики --> сайленсы --> firing --> эскалация - повтор при открытом алерте --> растёт счётчик повторов, лейблы и важность не меняются; после Resolve --> новый алерт - пауза: алерт спит, пока держит хоть одна политика или сайленс; держателей нет --> firing, эскалация с этого момента ### Жизненный цикл алерта — /docs/concepts/alert-lifecycle/ - статусы: `firing`, `acknowledged`, `resolved`, `delayed` и `silenced` (пауза), `dropped` - Acknowledge останавливает эскалацию, Unacknowledge продолжает её со следующего шага, Resolve закрывает, Escalate зовёт следующий шаг вручную ### Важность и её маппинг — /docs/concepts/severity-and-mapping/ - два уровня: `critical` и `warning`; severity mapping интеграции вычисляет их для каждого алерта, без совпадения --> Default severity ### Как работает эскалация — /docs/concepts/escalation-behavior/ - `critical` --> шаги по таймеру до Acknowledge или Resolve; `warning` --> только первый шаг, дальше кнопкой Escalate - шаг без получателя пропускается; после последнего шага алерт остаётся firing - правка политики действует на идущую эскалацию по порядковому номеру шага ## Справочник ### Справочник — /docs/reference/ - условия сервиса, тарифы и лимиты, словарь терминов, формат тела запроса для приёма алертов ### Условия и возможности сервиса — /docs/reference/service-conditions/ - регистрация без платёжных данных, Trial включает владелец организации; импорта из OpsGenie и PagerDuty нет; данные в России - ни один канал не гарантирует доставку --> держите резервный; Mobile Push не доставляет, приложения в магазинах нет ### Словарь терминов — /docs/reference/glossary/ - английское имя = как в интерфейсе, русское = как в текстах документации - Policy (политика) — правило обработки входящих алертов; Escalation Policy (политика эскалации) — кого и когда звать; это разные сущности - статусы алерта: `firing`, `acknowledged`, `resolved`, на паузе `delayed` и `silenced`, отброшен `dropped` - Nobody у ротации = пустое место в круге; Nobody (gap in coverage) у оверрайда = снятое дежурство на период - роли: Owner, Org Admin, Org Member на уровне организации; Team Admin, Team Member на уровне команды; Position на доступ не влияет ### Тарифные планы и лимиты — /docs/reference/plans-and-limits/ - Free без телефонии и отчётов; Trial добавляет их при лимитах Free; Pro с повышенными лимитами; расход в Organization Usage и Voice calls - создать организацию нельзя, если вы уже состоите в 5, независимо от тарифа - расширить лимиты --> письмо на support@incidentgarden.ru ### Формат payload для приёма алертов — /docs/reference/webhook-payload/ - AlertManager и Grafana --> `/alerts`, обязательны `alerts[]`, статус берётся с верхнего уровня, нестроковый лейбл отвергает тело - webhook --> `/webhook`, обязателен `title`, нестроковый лейбл отбрасывается; `annotations.summary` становится заголовком ## Anti-Patterns ### Типичные ошибки настройки дежурств — /docs/anti-patterns/ - типичные ошибки: весь мониторинг в on-call, один канал уведомлений, фильтрация политиками, политики вместо сайленсов, PromQL без агрегации, длинное описание алерта ### Все уровни мониторинга в on-call — /docs/anti-patterns/severity-overmapping/ - отбирать события на стороне источника: условие Trigger severity в trigger action Zabbix, маршрут по severity в AlertManager - маппинг не фильтр: уровень, убранный из Critical values и Warning values, получит Default severity, то есть `critical` ### Один канал нотификаций — /docs/anti-patterns/single-notification-channel/ - держите два канала разных типов, второй с задержкой, чтобы сбой одного не оставил без оповещения ### Политики как фильтр алертов — /docs/anti-patterns/policies-as-filter/ - отбирайте алерты на стороне мониторинга, а не политиками: ошибка в порядке политик ничем себя не выдаёт ### Политики на время работ — /docs/anti-patterns/policies-for-maintenance/ - на время работ глушить через сайленс, он выключится сам; политика подходит для постоянных правил ### Алерты без агрегации в PromQL — /docs/anti-patterns/promql-aggregation/ - агрегируйте PromQL до уровня решения дежурного (`sum(...) by (instance)`); тело больше 1 МиБ не принимается ### Описание алерта как диагностический отчёт — /docs/anti-patterns/bloated-description/ - суть в `annotations.summary`, короткое пояснение в `description`, ссылки в `runbook_url` и `dashboard_url` ## Сравнение с альтернативами ### Сравнение с другими on-call сервисами — /docs/comparison/ Карта различий между Incident Garden и OpsGenie, Grafana OnCall, PagerDuty.