CodeFest 2012. Сас А. — Как слать 100М писем каждый день
Download as PPT, PDF0 likes881 views
Документ описывает опыт и стратегии по эффективной отправке массовых почтовых рассылок, включая технические аспекты и требования к инфраструктуре. Основные моменты включают необходимость асинхронной обработки, балансировки между серверами и автоматизации процессов для достижения высокой скорости и надежности доставки. Автор делится своими достижениями в сфере почтовых рассылок и подчеркивает важность мониторинга для успешной работы системы.
CodeFest 2012. Сас А. — Как слать 100М писем каждый день
- 1. Как слать 100М писем каждый день (и спать спокойно) Сас Андрей, Badoo
- 3. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали;
- 4. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали; •не админ (извините!).
- 5. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали; •не админ (извините!). Хвастаюсь: •год без пролёжек почтовой инфраструктуры;
- 6. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали; •не админ (извините!). Хвастаюсь: •год без пролёжек почтовой инфраструктуры; •97% доставки в инбокс;
- 7. А кто говорит? Я: •руковожу развитием почтовой рассылки, могу знать не все детали; •не админ (извините!). Хвастаюсь: •год без пролёжек почтовой инфраструктуры; •97% доставки в инбокс; •среднее время доставки почты – 25 с.
- 10. О чём буду рассказывать? А как люди отправляют почту?
- 12. О чём буду рассказывать? Как отправлять много-много писем, быть уверенным в себе и спать по ночам спокойно
- 13. Бизнес-задачи 2. Предоставить прозрачный API программистам. 3. Обеспечить отправку почты в объёмах до 100М писем в день. 4. Обеспечить доставку почты в инбоксы в 95%+ случаев.
- 14. О чём НЕ буду рассказывать? Как сделать так, чтобы ваши письма не попадали в Spam
- 15. А что в этом сложного? Казалось бы: •поднял MTA •сделал mail() •... •PROFIT!
- 16. А что в этом сложного? Казалось бы: •поднял MTA •сделал mail() Однако: •отправка 1 письма = обработка 1 динамического хита
- 17. А что в этом сложного? Казалось бы: •поднял MTA •сделал mail() Однако: •отправка 1 письма = обработка 1 динамического хита •а ведь письма ещё нужно сгенерить
- 18. А что в этом сложного? Казалось бы: •поднял MTA •сделал mail() Однако: •отправка 1 письма = обработка 1 динамического хита •а ведь письма ещё нужно сгенерить •смелость пойти и узнать правду!!1111
- 19. Откуда взялась цифра 100М? • 50М – каждый день • 70М – в пике • 100М – просто красивая цифра • 150М – «пасаны ваще ребята. молодцы, могёте!»
- 20. Особенности больших проектов Наши мантры: • нужно отправлять письма асинхронно
- 21. Особенности больших проектов Наши мантры: • нужно отправлять письма асинхронно • по-настоящему (вдвойне) асинхронно!
- 22. Особенности больших проектов Наши мантры: • нужно отправлять письма асинхронно • по-настоящему (вдвойне) асинхронно! • требуется балансировка между серверами
- 23. Порядок отправки письма 2.Появляется необходимость создать письмо. 3.Постановка в очередь на создание письма. 4.Генерация письма по задачам из очереди на создание. 5.Постановка в очередь на отправку. 6.Отсылка письма из очереди на отправку.
- 24. Очередь на отправку Наша реализация – на файлах. Преимущества: 3.Возможна работа без внешних сервисов. 4.Простота манипулирования письмами. 5.Легко получить статистику / логи. 6.Просто реализуются многократные попытки отправки.
- 25. SSMTP вместо sendmail Это SMTP-клиент, эмулирующий работу sendmail. Нам он нравится, т.к.: •ничего лишнего, только отсылает письмо в MTA (hub) •супер простой конфиг •мы его слегка допилили (таймауты + параметры)
- 26. Балансировка между MTA Первая версия – на базе железки F5 LTM: •weighted round robin •SMTP мониторинг Текущая реализация – скрипты на PHP + мониторинг от F5 LTM: •автоматическое управление всей балансировкой •красивый веб-интерфейс •скрипач (админ) не нужен!
- 27. Автоматизация при отправке Хорошее место, чтобы делать добрые дела: •подстановку мониторинговых параметров в ссылки •подстановку картинок для мониторинга открытий •проверку целостности и корректности письма •подстановку технических заголовков •и даже проверку работоспособности ссылок!
- 28. Железо почтового кластера
- 29. Как тюнить MTA? • оптимизировать файловую систему • увеличить число SMTP воркеров • увеличить число DNS воркеров • поставить локальный кэшер DNS-запросов • раскладывать очередь по большому числу директорий • увеличить лимиты на число соединений к одному MX серверу • выставить лимиты на число писем в сессии
- 30. Наши MTA Исторически – Communigate Pro: •надёжный •ОЧЕНЬ быстрый Для «проблемных» почтовых сервисов – Postfix: •более конфигурируемый •есть возможность доработать напильником
- 31. Хм, Communigate Pro?.. Но ведь есть Postfix, Exim, Hurricane, Message Systems, Zrinity и даже Exchange!
- 32. Корпоративный комбайн •Email – первоначальный, основной продукт •Calendaring •VoIP •IM •File storage •IP PBX •Presence
- 33. А кто им пользуется?
- 34. Однако, цифры На старой машине с 1 диском SCSI 10k: •5 миллионов писем в сутки •до 100 писем в секунду в пике
- 35. Общее ощущение + чрезвычайно стабилен, вплоть до LA = 200 и очереди в 1М писем + высокая производительность отправки писем + не требователен к памяти и CPU + достаточно настроек для большинства проектов * платный – нет возможности менять настройки для разных почтовиков – нет возможности допилить самим – проблемы с выводом некоторых видов статистики
- 36. Статистика и мониторинг Пока не измеряешь – не контролируешь. Что было в начале? •графики по числу писем в очереди на каждом почтовике •сколько каких писем отправили за сутки •статистика по LA / CPU usage / Memory usage в Zabbix
- 38. Чего не хватало больше всего? • число файлов, ожидающих отправки в MTA • число ошибок отправки писем в MTA • среднее время отправки письма в MTA • самые загруженные отправкой почты скриптовые машины • среднее время доставки почты в отдельный почтовый сервис
- 39. Как реализовали? Число файлов, ожидающих отправки в MTA: • просто считаем файлы! Число ошибок отправки в MTA: • просто считаем файлы! Самые загруженные отправкой почты скриптовые машины: • лог в MySQL
- 40. Как реализовали? Среднее время отправки в MTA: • PINBA – наш собственный сервис мониторинга Среднее время доставки почты в отдельный почтовый сервис: • парсим логи MTA • хитрая агрегационная структура (highload!!1111)
- 47. Зачем так много?
- 48. Dashboard нас спасёт? 1. Несколько dashboard’ов. 2. Даже dashboard’ы стали слишком сложными. 3. Детектировать аномалии даже на менее значимых графиках автоматически.
- 49. 1984
- 50. Выводы 2. Быть гуру не надо, достаточно хотеть разобраться. 3. Правильная архитектура без мониторинга не спасёт. 4. Внезапно: отправка почты – тоже highload! 5. … 6. PROFIT!!!
- 51. Ваши вопросы * * Кроме вопросов о том, как мы доставляемся в Inbox