Евгений Куршев, Яндекс.Метрика вместо сериалов: анализируем поведение пользователей, Optimization2016
Download as PPTX, PDF0 likes96 views
Документ описывает инструменты и функции, связанные с анализом данных, включая личную аналитику через API логов и ClickHouse для обработки больших объемов данных. Содержит информацию о возможностях запросов, совместимости с различными языками программирования и ссылками на обучающие материалы. Упоминаются ключевые моменты разработки и использование технологии в Яндексе и за его пределами.
Евгений Куршев, Яндекс.Метрика вместо сериалов: анализируем поведение пользователей, Optimization2016
- 4. Что бы это значило? │Запись динамического контента
- 5. Изменяемые объявления, «Другие статьи на эту тему», лента новостей, бесконечно подгружаемая лента и т.д. │Персонализация
- 7. Этого больше не будет: │Простота подключения
- 8. https://yandex.ru/blog/metrika Q1 – постепенный переход желающих │Следите за новостями
- 9. Logs API
- 10. Logs API • Данные за всю историю счётчика • Все визиты и все просмотры • TSV 10
- 13. │Объединение данных из разных источников
- 15. ClickHouse
- 16. ClickHouse timeline 16 Prototype Январь 2009 Август 2012 Data Transfer Июнь 2014 Metrica 2.0 Декабрь 2014 Июнь 2016 Open Source Production
- 17. Основные идеи при создании ClickHouse • SQL • Линейная масштабируемость • Фокус на быстром выполнении запросов • Column-oriented 17
- 18. ClickHouse сегодня • Более 20 проектов в Яндексе • Open-source с июля 2016 • В продакшне вне Яндекса 18
- 19. Запросы • SQL диалект • Приблизительные вычисления, URI функции • Массивы, кортежи • Распределённые запросы из коробки • Внешние словари 19
- 20. С чего начать? • Tutorial: https://clickhouse.yandex/tutorial.html • Пишите вопросы: clickhouse-feedback@yandex-team.com • GitHub: https://github.com/yandex/ClickHouse • Больше информации: https://clickhouse.yandex 20
- 21. Logs API + ClickHouse
- 22. │Скрипт выгрузки данных из Logs API в локальный ClickHouse
- 23. Интерфейсы ClickHouse • Консольный клиент • HTTP • JDBC • Python, PHP, NodeJS, Go и Perl коннекторы 23
- 24. Пример запроса # Weekly traffic and audience SELECT count() as visits, sum(PageViews) as hits, uniq(UserID) as users FROM visits_all WHERE StartDate > today() - 7 24