Как сделать логирование приятным в быстро развивающемся проекте - Иван Савин, IPONWEB
0 likes838 views
Доклад Ивана Савина посвящен логированию в быстроразвивающихся проектах, обсуждающему, как сделать процесс более эффективным и приятным. Он подчеркивает важность настройки логгеров и хэндлеров для создания удобной аналитики логов, а также предлагает использование современных инструментов, таких как Logstash для централизованного хранения и визуализации данных. Логирование не должно быть просто формальностью, а должно способствовать решению конкретных задач.
![Как работает getLogger
● В программе:
logger = getLogger('myproject.utils')
logger.info('Message')
● Менеджер модуля обращается к своему
loggerDict['myproject.utils'] и выполняет
функции Logger
● И для loggerDict['myproject'] ...
● И для loggerDict['root'] ...](https://image.slidesharecdn.com/random-151001090704-lva1-app6891/85/IPONWEB-11-320.jpg)
Как сделать логирование приятным в быстро развивающемся проекте - Иван Савин, IPONWEB
- 1. Как сделать логирование приятным в быстроразвивающемся проекте Иван Савин, IPONWEB
- 2. Логирование ● Скучная необходимость ● Не знаю, зачем, но пусть программа и это залогирует
- 3. В этом докладе ● Подводные камни логирования с ростом программы ● Как изменить подход к логированию и сделать анализ логов приятным
- 5. Что происходит внутри С чем важно вазимодействовать: – Logger – кто, что и ли будет писать – Handler – как, куда и будет ли писать
- 6. Что происходит внутри ● Logger, фильтруя событие, создает LogRecord ● Передает его своим handler'ам, которые фильтруя выполняют emit ● Просит то же самое сделать своего родителя
- 7. Иерархия и менеджер ● Логгеры наследуют правила в иерархии, наверху - RootLogger ● Правила действуют во всей программе* - следит logging.manager, у которого есть loggerDict
- 8. Что делает logging.info ● Менеджер видит, что в loggerDict нет корневого логгера и создает его ● RootLogger создается с: – StreamHandler(sys.stderr) – logLevel = WARNING
- 9. Чем грозит ● Это работает ● Во всей программе один логгер, меньше опций настройки ● Если импортировать код в другую программу, то она испортит корневой логгер
- 10. logging.getLogger ● logging.getLogger() - получить RootLogger ● logging.getLogger(__name__) - получить логгер в иерархии ● logging.getLogger(__package__) - тоже вариант, но меньше логгеров
- 11. Как работает getLogger ● В программе: logger = getLogger('myproject.utils') logger.info('Message') ● Менеджер модуля обращается к своему loggerDict['myproject.utils'] и выполняет функции Logger ● И для loggerDict['myproject'] ... ● И для loggerDict['root'] ...
- 12. Происходит по умолчанию ● Правила для RootLogger ● Если в словаре нет 'myproject', то он добавляется как logging.PlaceHolder, чтобы держать иерархию Может быть не нужно, а может и запутать
- 13. Использование getLogger ● Практика большинства модулей ● Гибкая, но не кропотливая настройка логгеров и хэндлеров ● Иерархия будет становиться сложнее ● Имея отдельный логгер нелегко узнать, куда и как он пишет
- 14. Настройка логирования Логика логирования может быть сложной: – Логика зависящая от среды (dev, prod) – Централизованное хранение логов – Разные режимы работы программы (демон, подпроцессы) Каждый, кому нужны логи – потенциальный источник усложнения логики
- 15. Настройка логгеров ● Чем раньше, тем лучше – Если logger – глобальная переменная модулей – В __init__ программы ● logging.dictConfig – указать все возможные варианты, потом фильтровать ● Добавить свой метод, потом обновлять логику через logger.manager
- 16. Событие в логировании ● Обычно запись – это строка, в которую добавили значения нужных переменных – Потом нужно grep'ать эти строчки – По большим логам нужно grep'ать долго
- 17. Событие сейчас ● LogRecord – потенциально более удобный объект, чем строка ● JSON – более универсальная и гибкая структура для хранения информации
- 18. Добавление в LogRecord ● Добавить что-то важное для данного события: – Логин пользователя, который открыл веб-страницу – Версия кода
- 19. Добавление в LogRecord ● Передать через extra: – logger.info(“Sent response”, extra={'client': 'example'}) – не подходит для систематического использования ● logging.LoggerAdapter – Заменяет Logger в словаре loggerDict и ведет себя так же – Не потомок Logger, поэтому настроить логику хэндлеров напрямую нельзя
- 20. LoggerAdapter hack def __getattr__(self, item): try: return super(MyLoggerAdapter, self).__getattr__(item) except AttributeError: return getattr(self.logger, item) MyLoggerAdapter(LoggerAdapter)
- 21. Централизация логирования ● Скорость выявления глобальных проблем ● Удобнее для бизнес-задач
- 22. Централизация логирования ● logging → logstash ● Logstash – умеет отправлять в 20+ мест, в том числе PostgreSQL, Twitter ● Уже есть готовые хэндлеры: – TCP с шифрованием – UDP
- 23. Современное логирование logstash → ElasticSearch (индексация) → Kibana (визуализация)
- 24. Аналитика логов
- 25. Резюме ● Не стоит логировать для галочки ● Логи должны решать свою задачу удобно и быстро ● Настройка логирования – это несложно и важно
- 26. Спасибо за внимание Время вопросов Иван Савин isavin@iponweb.net