Доклад Андрея Саса на конференции HPC 2013. "Хайлоад в рассылке почты: как спать спокойно".
Download as PPT, PDF1 like1,009 views
Документ представляет собой дискуссию о процессе почтовых рассылок в рамках компании Badoo, где автор делится опытом управления почтовой инфраструктурой, подтверждая высокие показатели доставки и скорости. Рассматриваются ключевые аспекты масштабируемости, автоматизации и балансировки нагрузки для обеспечения эффективной отправки больших объемов писем, а также важность мониторинга и анализа данных. Основные выводы акцентируют внимание на необходимости постоянного развития и оптимизации почтовых процессов для успешного выполнения бизнес-задач.
Доклад Андрея Саса на конференции HPC 2013. "Хайлоад в рассылке почты: как спать спокойно".
- 1. Хайлоад в рассылке почты: как спать спокойно Сас Андрей, делаю почтовые рассылки в Badoo
- 3. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали;
- 4. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали; •не админ (извините!).
- 5. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали; •не админ (извините!). Хвастаюсь: •год без пролёжек почтовой инфраструктуры;
- 6. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали; •не админ (извините!). Хвастаюсь: •год без пролёжек почтовой инфраструктуры; •97% доставки в инбокс;
- 7. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали; •не админ (извините!). Хвастаюсь: •год без пролёжек почтовой инфраструктуры; •97% доставки в инбокс; •среднее время доставки почты – 15 с.
- 10. О чём буду рассказывать? А как люди отправляют почту?
- 12. О чём буду рассказывать? Как отправлять много-много писем, быть уверенным в себе и спать по ночам спокойно
- 13. Бизнес-задачи 1. Предоставить прозрачный API программистам. 2. Обеспечить отправку почты в объёмах до 150М писем в день. 3. Обеспечить доставку почты во «Входящие» в 95%+ случаев.
- 14. О чём НЕ буду рассказывать? Как сделать так, чтобы ваши письма не попадали в Spam
- 15. А что в этом сложного? Казалось бы: •поднял MTA (mail transfer agent) •сделал mail() •... •PROFIT!
- 16. А что в этом сложного? Казалось бы: •поднял MTA (mail transfer agent) •сделал mail() Однако: •отправка 1 письма = обработка 1 динамического хита
- 17. А что в этом сложного? Казалось бы: •поднял MTA (mail transfer agent) •сделал mail() Однако: •отправка 1 письма = обработка 1 динамического хита •а ведь письма ещё нужно сгенерировать
- 18. А что в этом сложного? Казалось бы: •поднял MTA (mail transfer agent) •сделал mail() Однако: •отправка 1 письма = обработка 1 динамического хита •а ведь письма ещё нужно сгенерировать •смелость пойти и узнать правду!!1111
- 19. Откуда взялась цифра 150М? • 50М – каждый день • 70М – в пике • 100М – просто красивая цифра • 150М – «пасаны ваще ребята. молодцы, могёте!»
- 20. Особенности больших проектов Наши мантры: • нужно отправлять письма асинхронно
- 21. Особенности больших проектов Наши мантры: • нужно отправлять письма асинхронно • по-настоящему (вдвойне) асинхронно!
- 22. Особенности больших проектов Наши мантры: • нужно отправлять письма асинхронно • по-настоящему (вдвойне) асинхронно! • требуется балансировка между серверами
- 23. Порядок отправки письма 1.Появляется необходимость создать письмо. 2.Постановка в очередь на создание письма. 3.Генерация письма по задачам из очереди на создание. 4.Постановка в очередь на отправку. 5.Отсылка письма из очереди на отправку.
- 24. Очередь на отправку Наша реализация – на файлах. Преимущества: 1.Возможна работа без внешних сервисов. 2.Простота манипулирования письмами. 3.Легко получить статистику / логи. 4.Просто реализуются многократные попытки отправки.
- 25. SSMTP вместо sendmail Это SMTP-клиент, эмулирующий работу sendmail. Нам он нравится, т.к.: •ничего лишнего, только отсылает письмо в MTA (hub) •супер простой конфиг •мы его слегка допилили (таймауты + параметры)
- 26. Балансировка между MTA Первая версия – на базе железки F5 LTM: •weighted round robin •SMTP мониторинг Текущая реализация – скрипты на PHP + мониторинг от F5 LTM: •автоматическое управление всей балансировкой •красивый веб-интерфейс •скрипач (админ) не нужен!
- 27. Автоматизация при отправке Хорошее место, чтобы делать добрые дела: •подставлять: • параметры для авторизации в ссылки • параметры для статистики в ссылки • картинки для мониторинга открытий • технические заголовки •проверять целостность и корректность письма •и даже тестировать работоспособность ссылок!
- 29. Как тюнить MTA? • оптимизировать файловую систему (noatime) • увеличить число SMTP воркеров • увеличить число DNS воркеров • поставить локальный кэшер DNS-запросов (unbound) • раскладывать очередь по большому числу директорий • увеличить лимиты на число соединений к одному MX серверу • выставить лимиты на число писем в сессии
- 30. Наши MTA Исторически – Communigate Pro: •надёжный •ОЧЕНЬ быстрый Для «проблемных» почтовых сервисов – Postfix: •более конфигурируемый •есть возможность доработать напильником
- 31. Хм, Communigate Pro?.. Но ведь есть Postfix, Exim, Hurricane, Message Systems, Zrinity и даже Exchange!
- 32. Корпоративный комбайн •Email – первоначальный, основной продукт •Calendaring •VoIP •IM •File storage •IP PBX •Presence
- 33. А кто им пользуется?
- 34. Однако, цифры На старой машине с 1 диском SCSI 10k: •5 миллионов писем в сутки •до 100 писем в секунду в пике
- 35. Общее ощущение + чрезвычайно стабилен, вплоть до LA = 200 и очереди в 1М писем + высокая производительность отправки писем + не требователен к памяти и CPU + достаточно настроек для большинства проектов * платный – нет возможности менять настройки для разных почтовиков – нет возможности допилить самим – проблемы с выводом некоторых видов статистики
- 36. Статистика и мониторинг Пока не измеряешь – не контролируешь. Что было в начале? •графики по числу писем в очереди на каждом почтовике •сколько каких писем отправили за сутки •статистика по LA / CPU usage / Memory usage в Zabbix
- 38. Чего не хватало больше всего? 1. Число файлов, ожидающих отправки в MTA 2. Среднее время отправки письма в MTA 3. Среднее время доставки почты во внешние почтовые сервисы А также: • число ошибок отправки писем в MTA • самые загруженные отправкой почты скриптовые машины
- 39. Как реализовали? Число файлов, ожидающих отправки в MTA: • просто считаем файлы! Число ошибок отправки в MTA: • просто считаем файлы! Самые загруженные отправкой почты скриптовые машины: • лог в MySQL
- 40. Как реализовали? Среднее время отправки в MTA: • время отправки письма минус время создания Среднее время доставки почты во внешние почтовые сервис: • парсим логи MTA • хитрая агрегационная структура (highload!!1111)
- 47. Зачем так много?
- 48. Dashboard нас спасёт? 1. Несколько dashboard’ов. 2. Даже dashboard’ы стали слишком сложными. 3. Детектировать аномалии даже на менее значимых графиках автоматически.
- 49. 1984
- 50. И что же нового? С осени 2011 года поменялось: •Название! •1 -> 2,5 года без пролёжек почтовой инфраструктуры; •97% -> 98% inbox placement rate •Мониторинг лендинга на мобильных версиях •Лечение от single point of failure (SPoF)
- 51. И что же нового? С осени 2011 года поменялось: •тегирование ссылок для Google Analytics (легко!) •выгрузка данных в систему business intelligence (BI) •API для A/B тестирования
- 52. Выводы 1. Быть гуру не надо, достаточно хотеть разобраться. 2. Правильная архитектура без мониторинга не спасёт. 3. Внезапно: отправка почты – тоже highload! 4. Не стойте на месте, развивайте почту, если она для вас важна. 5. … 6. PROFIT!!!
- 53. Ваши вопросы * * Кроме вопросов о том, как мы доставляемся в Inbox