Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)
0 likes814 views
Документ описывает подход к мониторингу в среде DevOps, акцентируя внимание на модульности и гибкости системы. Обсуждаются методы сбора и хранения метрик, роль разработчиков в мониторинге своих сервисов, и необходимость упрощения процесса выявления и решения проблем. Кроме того, упоминаются используемые технологии, такие как statsd и logstash, а также требования к масштабируемости и эффективности системы.
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)
- 1. Путь мониторинга модульность, гибкость, devops
- 2. Ghbdtn! • Всеволод Поляков • Lead DevOps Grammarly • поддержка около 30 сервисов на Java, erlang, python, lisp, ruby, js силами 4- х админов
- 4. Чего мы хотим? • Получать сообщения о проблемах • Не получать сообщения когда проблем нет • Помощь в поиске проблемы • Предупреждение о возможных проблемах • Не пропускать проблемы
- 5. DevOps • Разработчики знают сервис лучше чем опсы • Нет батлнека в опс команде • Повышается скорость работы
- 6. Почему старое плохо? • Свои сложные концепции • Сложно для девелоперов • Содержит в себе все что может пригодиться, а может и не пригодиться • Две системы управления конфигурацией
- 7. Метрики • env.role.node_name.metric • Приложение пишет метрики в statsd • Система пишет метрики в statsd • Агрегируем и чекаем сами, без приложения
- 8. Пожелания • Простота добавления метрик и проверок по ним • Должно скейлиться и не падать • Хранить информацию по метрикам как можно дольше • Хранить много метрик • Разработчики мониторят свои сервисы без участия опсов
- 9. • Логи: 300 Gb/день • Метрики: 120 000, обновляются раз в 10 секунд • 300 проверок состояний • Разработчики всех сервисов отвечают за мониторинг • Занятость команды админов в мониторинге минимальна
- 10. Sensu
- 11. influx • Маленькая база на go ~ 20mb RAM • Локальная база на каждом сервере • Хранилище метрик на два дня
- 12. Сбор метрик в ноде
- 14. скрин графаны
- 15. Логи • Общий формат для всех сервисов: json • Текстовый файл с logrotate
- 16. Мониторинг фронтенда • Логи → nginx → logstash • Метрики → nginx → агрегатор → statsd • Плагин для логстеша, разворачивает сорсмап
- 17. Слайд по всяким штукам • 500-е, уникальные юзеры • разработчики сами все мониторят и просыпаются ночью • сравнение времени обработки чего-то в фронтенде и на бекенде • сквозной userID по всем сервисам
- 18. Над чем мы думаем • Мониторинг безымянных серверов • Хранение метрик приложений в mesoskubernetis окружениях