Олег Савкин
0 likes319 views
Документ обсуждает архитектуру и данные Twitter, включая роль старшего разработчика баз данных и технологии, используемые для разработки и хранения данных. Уделено внимание распределенной базе данных Manhattan, работе с Hadoop и взаимодействию различных компонентов системы Twitter. Приведены также статистические данные о пользователях и объемах данных, обрабатываемых платформой.
Олег Савкин
- 1. Твиттер: архитектура и данные Олег Савкин Sr. Database Developer Twitter
- 2. Олег Савкин Sr. Database Developer, Twitter Опыт работы:
- 3. Кто такой Sr. Database developer - Не совсем sysadmin - Не совсем DBA - Много лет работы с различными базами данных - Опыт участия в Enterprise проектах - Проектирование баз данных – логическое и физическое - Использование различных языков программирования - Общение с заказчиками и проектирование проекта - И т.п.
- 5. • 3,860 работников • 2,000 в San Francisco • 40% технические специалисты. • 313 миллионов активных пользователей в месяц • 100+ миллионов твитов в день • 40 языков (японский, китайский, фарси, арабский, и прочие..) • 200+ миллионов бродкастов в Перископе на март 2016
- 7. Сегодня мы поговорим про - Архитектуру - Как работает Твиттер - Данные в Твиттере
- 14. Twitter Clients clients routing logic storage Manhattan (Distributed DB) Gizmoduck (User Service) Web API Tweetypie (Tweet Service) Timeline Service Social Graph Service TBird (Tweet Store) Tweets API Search Service Direct Messages Service Users API Search API Messages API Flock (Graph Store) TFlock (Tweet Graph Store) DMBird (Direct Msg Store) TFE (Twitter Front End) HTTPS TweetDeck Twitter for iOS Twitter for Android twitter.com Twitter API Clients Manhattan (Distributed DB) API Timeline API
- 15. Twitter Front End (TFE) clients routing logic storage Manhattan (Distributed DB) Gizmoduck (User Service) TFE (Twitter Front End) Tweetypie (Tweet Service) Timeline Service Social Graph Service TBird (Tweet Store) Search Service Direct Messages Service Flock (Graph Store) TFlock (Tweet Graph Store) DMBird (Direct Msg Store) HTTPS HTTP TweetDeck Twitter for iOS Twitter for Android twitter.com Twitter API Clients Manhattan (Distributed DB) API Web API Tweets API Users API Search API Messages API Timeline API
- 16. Presentation Layer Services clients routing logic storage Manhattan (Distributed DB) Gizmoduck (User Service) Tweetypie (Tweet Service) Timeline Service Social Graph Service TBird (Tweet Store) Search Service Direct Messages Service Flock (Graph Store) TFlock (Tweet Graph Store) DMBird (Direct Msg Store) HTTP TweetDeck Twitter for iOS Twitter for Android twitter.com Twitter API Clients HTTPS Web API Tweets API Users API Search API Messages API TFE (Twitter Front End) Thrift Manhattan (Distributed DB) API Timeline API
- 17. Application Logic Services clients routing logic storage Manhattan (Distributed DB) TBird (Tweet Store) Flock (Graph Store) TFlock (Tweet Graph Store) DMBird (Direct Msg Store) HTTP TweetDeck Twitter for iOS Twitter for Android twitter.com Twitter API Clients HTTPS TFE (Twitter Front End) Thrift Web API Tweets API Users API Search API Messages API Gizmoduck (User Service) Tweetypie (Tweet Service) Timeline Service Social Graph Service Search Service Direct Messages Service Manhattan (Distributed DB) API Timeline API
- 18. Storage Services clients routing logic storage HTTP TweetDeck Twitter for iOS Twitter for Android twitter.com Twitter API Clients HTTPS TFE (Twitter Front End) Thrift Gizmoduck (User Service) Tweetypie (Tweet Service) Timeline Service Social Graph Service Search Service Direct Messages Service Manhattan (Distributed DB) Tbird (Tweet Store) Flock (Graph Store) TFlock (Tweet Graph Store) DMBird (Direct Msg Store) Manhattan (Distributed DB) API Web API Tweets API Users API Search API Messages API Timeline API
- 19. Analytics example: Logging User Events clients routing logic storage Scribe Aggregator Web API TFE (Twitter Front End) Tweetypie (Tweet Service) TBird (Tweet Store) Rufous Twitter for Android Hadoop (HDFS) … … … … twitter.com API Клиенты Твиттера регистрируют множество различных клиентских событий, таких как показы и клики
- 22. Что Твиттер хранит в MySQL: • Твиты • Пользователей • Социальные графы • Данные о доходах • Данные внутренних сервисов
- 23. Hadoop@Twitter в цифрах 600+ Hadoop worker nodes 40 Thousand Petabytes Storage available (Ignoring replication) В Твиттере одни из самых больших кластеров в мире. Например, один из самых «горячих» и используемых кластеров имеет 10 тысяч нод
- 24. Как используется Hadoop в Твиттере: • Обработка большого объема данных • Сохранение событий • Поиск • Эксперементирование • Показы рекламы • Анализ и обработка данных • Backup и хранение данных • И т.д..
- 25. Testing Development / testing of new jobs and data sets Bleeding edge release, no sla, business hours Ad-hoc One off / ad-hoc queries and analysis Next stable release, restarted regularly, business hours Processing Regularly scheduled production jobs with dedicated capacity Stable release, 24x7 support Cold (backups) Dense storage clusters, not for compute Stable release, 24x7 support Real-time Critical performance production jobs with dedicated capacity Stable release, 24x7 support Hadoop@Twitter: Типы кластеров
- 26. Hadoop@Twitter – обзор pipelines • Сбор логов событий с компьютеров Twitter Front End во всех датацентрах • Агрегирование логов по времени и категориям во всех датацентрах • Распределение логов по различным кластерам в определенные директории • Многоуровневые SLA для различных категорий задач • Логи сохраняются в HDFS в почасовых partitions в стандартной HDFS структуре • Схемы файлов хранимых в HDFS определены в Thrift
- 27. Обработка данных в Твиттере
- 28. Пример аналитики в Твиттерe
- 29. @toyways Олег Савкин Sr. Database developer Twitter Вопросы? www.facebook.com/oleg www.linkedin.com/in/osavkinosavkin@gmail.com