2 search
0 likes545 views
Документ описывает компоненты и технологии поиска Яндекса, включая объем обрабатываемых данных и сложность алгоритмов. Упоминается использование машинного обучения, ручной оценки и A/B тестирования для повышения качества поиска. Основное внимание уделяется созданию уникальных ценностей для пользователей через различные сервисы, включая рекламу и оптимизацию маршрутов.
![Поиск - качество
Выбираем единицы из миллионов
•
•
•
•
[яндекс] - 20 млн. ответов, нужно выбирать
лингвистика – 20 языков
10 млн. ручных оценок
машинное обучение: 10 тыс. деревьев на 1000
факторах
• 20 формул
• 100 классификаторов
• построение выдачи из вертикалей и колдунщиков
9](https://image.slidesharecdn.com/2-search-140128064326-phpapp02/85/2-search-9-320.jpg)
![200 миллионов в день
[вконтакте]
[фермионная струна]
[почему я такая умная, а живу как дура]
[продажа заводов по производству несъемной опалубки]
[зачем люди объединяются в группы, что группа дает человеку]
[анджелина джоли]
[ошибка 3004 в itunes при обновлении ios 7, что делать]
[……..]](https://image.slidesharecdn.com/2-search-140128064326-phpapp02/85/2-search-12-320.jpg)
2 search
- 2. Поиск в ответе за всё Федор Романенко Качество поиска Яндекса, ведущий менеджер-эксперт
- 3. Поиск – главные компоненты
- 4. Поиск - робот Скачать и обработать интернет • • • • • 4 10 млрд. страниц 2000 серверов для кеша 10 петабайт 5 млрд. скачивается ежедневно 50 алгоритмов обхода
- 5. Поиск - BigData Собрать все данные и многократно обработать • • • • • 5 все логи (только поиск > 200 млн. хитов в день) 2000 серверов 20 петабайт 500 задач одновременно 1000 факторов ранжирования
- 6. Поиск - онлайн Каждый запрос ищем по всему интернету • • • • • • • 6 7 дата-центров 20000 серверов 5000 серверов обрабатывает запрос 50мс на поиск по 10 млрд. 10 тыс. деревьев на 1000 факторах для 1 док. 200 млн. запросов в день 2K RPS
- 7. Поиск - вертикали Лучше понимаем мир через моделирование • • • • 20 вертикалей отдельные сервисы: Яндекс.Видео, Яндекс.Картинки, ... моделирование реальности: объекты, а не страницы типы объектов: видео-клипы, картинки с копиями, товары, предложения • майним и агрегируем информацию по объектам 7
- 8. Качество Возникает, когда есть, из чего выбирать
- 9. Поиск - качество Выбираем единицы из миллионов • • • • [яндекс] - 20 млн. ответов, нужно выбирать лингвистика – 20 языков 10 млн. ручных оценок машинное обучение: 10 тыс. деревьев на 1000 факторах • 20 формул • 100 классификаторов • построение выдачи из вертикалей и колдунщиков 9
- 10. Поиск - работа над качеством Нет одного алгоритма поиска, есть сотни маленьких • • • • • • 10 определяем продуктовые требования выбираем метрику, чтобы измерить и сравнить повышаем за счет новых сигналов и других приемов метрика, по которой все хорошо, - плохая метрика различных качеств и метрик очень много проверяем на пользователях: AB-тестинг, TDI
- 12. 200 миллионов в день [вконтакте] [фермионная струна] [почему я такая умная, а живу как дура] [продажа заводов по производству несъемной опалубки] [зачем люди объединяются в группы, что группа дает человеку] [анджелина джоли] [ошибка 3004 в itunes при обновлении ios 7, что делать] [……..]
- 13. Единый ответ Люди начинают решать ВСЕ задачи через поиск
- 14. Единый ответ Мы можем • Найти информацию в интернете Но также и • Ответить фактом • Показать видео, дать послушать музыку • Задать уточняющий вопрос • Проводить на вертикальный сервис • Подобрать бизнес • Начать процесс взаимодействия (Острова) Ограничений нет! 14
- 15. • В поисковом окне люди формулируют все свои потребности • Граница между поисковыми и информационными сервисами условна • Поиск – это гигантский искусственный супермозг, который должен помочь всем • Сервис, который к нему не подключен, не сможет помочь многим 15
- 16. Ценности Яндекс нужен, только пока создает уникальные ценности для людей: помогает в онлайне или оффлайне
- 17. Нужно использовать сильные стороны • Top 5: Google, Baidu, Yahoo, Яндекс, Bing • Dream-team из 5000 человек • Очень много данных • Big Data, технологии анализа • Умеем создавать информационные продукты • Известность и очень много денег • 50 млн пользователей на старте 17
- 18. Ценности: случаи из жизни • Поиск с русской морфологией • Почта без спама • экосистема Маркета • Директ для бизнеса • Пробки по трекам • …. 18
- 19. Онлайн и оффлайн
- 20. Онлайн – Яндекс.Новости Можно почитать Новости на главные темы в основных изданиях 20
- 21. Оффлайн – Яндекс.Такси Теперь можно вызвать Такси, которое приедет через 10 мин 21
- 22. Сервис будущего? Придумаем за 10 минут
- 23. Яндекс.Пассажир - сделаем • Блок с GPS+GSM в автобусах • Мосгортранс: данные о маршрутах и турникетах • Оцифруем использованные билеты из урн • Наложим треки людей на граф города • Машиннообучим оценку времени проезда 23
- 24. Яндекс.Пассажир - результат Пользователям • Построение маршрутов Городу • Поможем ГИБДД настроить светофоры • Мосгортрансу оптимизировать маршруты Бизнесу • Перегруженные линии для частников Монетизация • Реклама в автобусах с учетом загрузки 24
- 25. Роли и скиллы Свою роль ты выбираешь сам!
- 26. Роли в супер-команде (1/2) • Разработчик ядра отличный C++, оптимизация, сети, процессоры • Разработчик качества С++, матстатистика, машинное обучение, анализ данных, математическая культура • Разработчик-тимлид отличный разработчик, самостоятельное решение задач, работа с людьми • Лингвист лингвистика, языки, программирование, дата майнинг 26
- 27. Роли в супер-команде (2/2) • Аналитик базовое программирование, знание жизни, матстатистика • Продуктовый менеджер знание людей, жизни и отрасли, интуиция, здравый смысл, грамотность • Проджект-менеджер достижение целей, работа с людьми, способность учиться • Руководитель сервиса всё вышеперечисленное, структурное мышление, ответственность за результат 27
- 29. Федор Романенко Ведущий менеджер-эксперт качества поиска +7-903-6841530 fedor57@yandex.ru Спасибо!