Как Badoo модерирует 1 миллиард фотографий в год (Андрей Гоменюк)
5 likes4,931 views
Документ описывает процессы модерации фотографий в Badoo, где система обрабатывает более 1 миллиарда изображений в год с помощью 120+ модераторов и специфических требований по качеству и скорости. Основное внимание уделяется автоматизации, включая сортировку, кадрирование и ручную проверку, с акцентом на минимизацию ошибок и времени обработки. Также рассматриваются проблемы, такие как высокая нагрузка на базу данных и управление фотографиями, с предложением решений для их устранения.
Как Badoo модерирует 1 миллиард фотографий в год (Андрей Гоменюк)
- 1. Как Badoo модерирует 1 миллиард фотографий в год Андрей Гоменюк
- 2. Badoo – это: • Социальная сеть для знакомства с новыми людьми • В Top-200 Alexa с 2007 года • 160+ миллионов пользователей • 3+ миллиона новых фотографий и видео ежедневно • 40+ тысяч запросов к бэкэндам • PHP, MySQL, C(++), Linux, nginx, PHP-fpm, memcache
- 3. Зачем? • Хотим видеть только лица в поиске • Хотим минимизировать жалобы пользователей и запросы полиции • Пользователи стесняются загружать свои фотографии
- 6. Как?
- 8. Ан нет...
- 9. Немного статистики • 2 датацентра • 200+ серверов с фотографиями • 200+ серверов с пользовательскими данными • 150+ новых фотографий в пике в секунду, 3+ миллиона в сутки • 120+ модераторов онлайн в пике • Время модерации фотографии: 1-2 минуты
- 10. Требования • Скорость модерации: хотим не больше 1 минуты • Качество модерации: хотим не больше 1 ошибки на 1000 фотографий (99.9%) • Стоимость модерации: не хотим делать лишнюю работу
- 11. Этапы • Сортировка: присвоение каждой фотографии категории, определяющей её содержание (эротика, дети, разное и т.д.) – для всех фотографий • Кадрирование: выделение лица на фотографии – только для фотографий, показываемых в поиске • Проверка качества: автоматическая + ручная
- 12. Схематично
- 13. Доставка фото в модерацию
- 14. Доставка фото в модерацию • У нас шардинг • Хотим транзакционность • Хотим меньше зависимостей между компонентами
- 15. Решение • Своя очередь сообщений на MySQL • Каждому БД серверу - по очереди • Все данные сливаются в несколько потоков на центральную БД на локальном ДЦ • Не нарушается целостность данных
- 16. Но у нас два ДЦ • Модерация происходит в одном ДЦ • Очередь умеет доставлять события между ДЦ • После обработки посылаем событие обратно • Минус: «американские» фотографии доходят медленнее
- 17. Решение • Появился быстрый канал: можем использовать мастер-мастер репликацию • Практически нет задержек для «американских» фотографий • Есть нюансы с запросами • Время на доставку события: 20с
- 18. Сортировка
- 19. Особенности • Не хотим каждый раз дёргать информацию о каждой фотографии/пользователе • Храним все нужные данные для отображения фото локально (в модерации) • Подписаны на 10+ различных событий об удалении пользователя/альбома/фото, перемещении, смены приватности и т.д.
- 20. Проблема №1 • Записей больше, чем чтений: нет смысла кэшировать • Записей очень много: если всё в одной таблице, то начинаются тормоза при вставках, обновлениях, удалениях • Много индексов для разных случаев: приоритеты, даты, модераторы, типы, статусы и т.д.
- 21. Решение • Один источник записей - одна таблица • Нет проблем со вставками • Нет проблем с deadlock’ами
- 22. Простой случай
- 23. Проблема №2 • Удалился пользователь/альбом/фото • Проблемы с сетью • Проблемы с фото-сервером
- 25. Проблема №3 • Разом пришло очень много фотографий • Модераторы разом перестали работать • Изменились требования и нужно перепроверить старые фото
- 27. Автоматическая проверка • Подготавливаем массив «правильных» фотографий • Подмешиваем модераторам • Сравниваем результат • Быстро находим «читеров» • Но это не позволяет держать общее качество на высоте
- 28. Ручная проверка • Режим: доверяй, но проверяй • На одном экране выводим 50 фотографий с одним статусом • Группируем фотографии по полу • Одним нажатием фотография отправляется на повторную модерацию • Один модератор проверяет до 10000 фотографий в час
- 29. Ручная проверка
- 30. Интерфейс
- 31. Интерфейс • Простота: ничего лишнего • Подсказки от нас: лицо, пол анкеты • Решение применяется несколькими кнопками • Дополнительная статистика (скорость канала, тайминги загрузок и принятия решения, автоматический пропуск фотографий, которые не смогли загрузить) • Чтобы не создавать лишнюю нагрузку на сервер, отправляем результаты пачками, но не слишком большими
- 33. Применение решения • После модерации нужен физический доступ к фотографии: переместить/удалить/обрезать • События о модерации должен обрабатывать тот фото-сервер, где находится фотография • После получения события о модерации, перекладываем его в отдельную очередь на применение (с данными о фото-сервере) • Время на применение решения: 30с
- 34. Общая схема
- 36. Что измеряем • Скорость доставки событий • Скорость модерации • Размер каждой очереди • Стандартные показатели (Pinba)
- 37. Модераторы тоже люди • Работают в удобное для себя время (день по Москве) • Делают то, за что больше платят • Если записей мало - ждут, пока накопится и проверяют пачкой
- 38. Для нас важна скорость • Увеличенный тариф за работу в ночное время • Очередь кадрирования автоматически закрывается, если много фото в сортировке • Если модератор не проявляет активности - отключаем его • Повышенный приоритет для «важных» фото - достаются самым активным • Средняя скорость принятия решения - 10с для приоритетных фото, 30 секунд для обычных
- 39. Автоматическая модерация • Сложные правила - даже люди иногда путаются • Правила могут меняться • Низкая скорость анализа • В любом случае нужна ручная перепроверка
- 40. Знаменитости • Пользователи любят загружать чужие фото • Модераторы не знают всех знаменитостей...
- 41. Мы знаем, но рассказать не можем. Пока...
- 42. Спасибо! Вопросы? dron@corp.badoo.com