Ночь, когда упал мониторинг: как мы писали runbook после инцидента

Самый страшный инцидент для сисадмина — когда падает не сервис, а мониторинг. Ты слеп, и каждое действие на ощупь. Такая ночь была у нас в прошлом месяце, и я запомню её надолго. Мы восстановили всё вручную, по памяти и старым конспектам. А утром я сел писать runbook: что смотреть, в каком порядке, какие команды, кому звонить. Без героев и импровизации. Теперь у нас есть регламент на случай смерти самого регламента. Звучит смешно, но именно он вернул мне спокойный сон. Скучная документация — это концентрат чужого опыта и своего страха.