Analysis of Search Queries
1 like543 views
Документ представляет анализ поисковых запросов, проведенный Павлом Браславским в Киеве в августе 2010 года. В нем рассматриваются характеристики потока запросов, методы сегментации и применения машинного обучения для тематической классификации запросов, а также влияние различных факторов на запросы пользователей. Также обсуждаются проблемы с открытыми данными и конфиденциальностью при анализе запросов.
![Traffic Volume Over a Day
8% 8%
Note the drop in query volum e during off-
peak tim e, and its subsequent rise
6% throughout the rem ainder of the day. 6%
% of
Daily 4% 4%
Traffic
2% 2%
Total Queries
Distinct Queries
0% 0%
0 6 12 18 24
Hour of Day
Павел Браславский - Анализ запросов [Beitzel] 9](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-9-320.jpg)
![Category Breakdown
Sampled Categorized Query Stream Breakdown
• Query lists for each category Personal
formed by a team of human Finance
3%
editors Comput ing
Ot her
9%
• Query stream classified by T ravel
16%
Research &
exactly matching each query 5% Learn
9%
to category lists Sport s
3%
Ent ert ainment
13%
Shopping
13% Games
5% Health
Porn Holidays 5%
10% 1%
US Sit es Home
3% 5%
Павел Браславский -- Анализ запросов [Beitzel] 14](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-14-320.jpg)
![Category Popularity Over a Day
P o rn
En t ert ain m en t
C ategorical C overage Over Time Gam es
Healt h
P erso n al Fin an ce
Sh o p p in g
M usic
4% USSit es
8%
Vo l u m e
7%
Percentage of Total Volume
Percentage Coverage
3% 6%
5%
2% 4%
3%
1% 2%
1%
0% 0%
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
Hour of Da y
Павел Браславский - Анализ запросов [Beitzel] 15](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-15-320.jpg)
![Category Popularity Over Six Months
Sept Oct Nov Dec Jan
2%
Holidays Shopping
1%
0%
2%
Sports Government
% of
Total 1%
Query
Stream
0%
Sept Oct Nov Dec Jan Feb
Months
Павел Браславский - Анализ запросов [Beitzel] 16](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-16-320.jpg)
![Pearson Correlations for Selected
Categories Over A Day
0 6 12 18 24
1.0
0.5
Personal Finance Music
0.0
1.0
0.5
Entertainment Movies
0.0
1.0
0.5
Games Computing
0.0
1.0
Pearson
0.5
Correlation
Porn Government
0.0
0 6 12 18 24
Hour of Day
Павел Браславский - Анализ запросов [Beitzel] 17](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-17-320.jpg)
![Сегментация на основе лога
conn(S) = freq(S)*I(w1…wn-1;w2…wn)
msdn library visual studio
34259: (msdn library)[5110] (visual studio)[29149]
29149: msdn[47658] library[209682] (visual studio)[29149]
5110: (msdn library)[5110] visual[23873] studio[53622]
41: (msdn library visual studio)[41]
7: msdn[47658] (library visual studio)[7]
0: msdn[47658] library[209682] visual[23873] studio[53622]
Risvik et al. WWW2003
Павел Браславский - Анализ запросов 27](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-27-320.jpg)
![Сегментация: подходы
• похоже на выделение устойчивых словосочетаний
• например: генерация и взвешивание всех сегментов (частота +
связность по логу); сегментация запроса = сумма весов всех
сегментов
• + микросинтаксис
• лог vs корпус текстов
• ML (больше признаков, более богатое описание)
• language models
• внешние ресурсы (Wikipedia)
• эвристики ([дима билан][димабилан])
Павел Браславский - Анализ запросов 30](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-30-320.jpg)
![Selectional Preferences: Step 1
• Obtain a large log of unlabeled web queries
• View each query as pairs of lexical units:
– <head, tail>
– Only applicable to queries of 2+ terms
– Queries with n terms form n-1 pairs
– Example: “directions to DIMACS” forms two pairs:
• <directions, to DIMACS> and <directions to,
DIMACS>
Павел Браславский - Анализ запросов [Beitzel] 35](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-35-320.jpg)
![Selectional Preferences: Step 2
• Obtain a set of manually labeled queries
• Check the heads and tails of each pair to see if
they appear in the manually labeled set
• Convert each <head, tail> pair into:
– <head, CATEGORY> (forward preference)
– <CATEGORY, tail> (backward preference)
Павел Браславский - Анализ запросов [Beitzel] 36](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-36-320.jpg)
![Selectional Preferences: Step 2
“Personal Finance”
Category
… Forward SP Rule:
Query Log
banks
… bonds Head Tail
Yahoo mail stocks
PERSONAL
interest rates rates interest
FINANCE
Ebay motors savings
… checking
…
Павел Браславский - Анализ запросов [Beitzel] 37](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-37-320.jpg)
![Selectional Preferences: Step 3
• Score each preference using Resnik’s Selectional Preference
Strength formula:
S ( x ) = D ( P ( U |x ) || P ( U ) )
P ( u |x )
= ∑ P ( u |x ) lo g 2
u P (u )
Where u represents a category, as found in Step 2.
S(x) is the sum of the weighted scores for every category
associated with a given lexical unit
Павел Браславский - Анализ запросов [Beitzel] 38](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-38-320.jpg)
![Selectional Preferences: Step 4
• Use the mined preferences and weighted scores from Steps 3 and 4 to
assign classifications to unseen queries
Matching SP Rule:
Head Tail
Incoming Query
interest only loan PERSONAL
interest
FINANCE
“interest only loan” is classified as a
PERSONAL FINANCE query.
Павел Браславский - Анализ запросов [Beitzel] 39](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-39-320.jpg)
![Selectional Preference Rule Examples
Forward Rules Backward Rules
– harlem club X – X gets hot wont start
• ENT->0.722 • AUTOS->2.049
• PLACES->0.594
• PLACES->0.378
• TRAVEL->1.531
– X getaway bargain
• PLACES->0.877
– harley all stainless X • SHOPPING->0.047
• AUTOS->3.448 • TRAVEL->0.862
• SHOPPING->0.021 – X getaway bargain hotel and
– harley chicks with X airfare
• PORN->5.681 • PLACES->0.594
• TRAVEL->2.057
Павел Браславский - Анализ запросов [Beitzel] 40](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-40-320.jpg)
![Nature of Problem
queries ? … 67 kdd-categories
Phase I Phase II
Page Categories synonym-based
classifier
query … 67 kdd-categories
Search engines
Page Content
statistical
classifiers
Павел Браславский - Анализ запросов [Shen] 43](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-43-320.jpg)
![Phase I: From queries to pages and
categories
• We collected
• Input: – 40 million entries
– A query: Qi, – 50GB
• Output: • Search engines
– <Page listi, Category listi > – Lumur (CMU open source)
• Approach: – Google
– through Search Engines (SE) – ODP
– Looksmart
Павел Браславский - Анализ запросов [Shen] 44](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-44-320.jpg)
![Phase II.a Synonym-based Classifier:
using directories
– 67 KDD-categories in KDDCUP • Advantage
– Fast,
– 172,565 in ODP/Google, – Precise
272,405 in Looksmart • Disadvantage
– Many of the 172K and 272K
• For each of the KDDCUP category categories from ODP/Google
and Looksmart do not map to
– Apply Wordnet to find the KDDCUP categories
corresponding synonyms in the
categories of ODP (Google) and – This may result in low recall
Looksmart, respectively
• This produces one mapping
function f for each directory
– Also returns a rank by matching
frequency
Павел Браславский - Анализ запросов [Shen] 45](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-45-320.jpg)
![Phase II.b: Statistical Classifiers
• Statistical Classifiers
– Support Vector Machine (SVM): mapping pages to KDDCUP categories
• Training Data
– 15 million pages with categories from ODP Directory
– Apply the mapping f from Phase II.a, to build training data.
15 Million Pairs f 15 Million Pairs
(page, odp-categories) (page, kdd-categories)
• Application of the classifier
– Construct a virtual document for each query by combining the snippets from the
returned pages given in Phase I.
– Classifier returns category and rank
Павел Браславский - Анализ запросов [Shen] 46](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-46-320.jpg)
![Component Classifier Integration
• We follow an ensemble learning approach
– Each classifier returns the category and rank
– The two kinds of classifiers have the similar performance.
– We integrate the different classifiers together by a weighted
sum of the ranks
• Weights can be determined by validation data set:
– Based on the performance on the 111 sample data;
– Assign different weight values for a classifier on different categories
– The higher the precision, the higher the weight value
• We have also tried to use equally weighted component
classifiers
Павел Браславский - Анализ запросов [Shen] 47](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-47-320.jpg)
![Final Result Generation
• Two Solutions: One for each evaluation criteria
– S1: Using the validation data set is expected to achieve better precision
measure
• Since each component classifier is highly weighted on the classes
where it achieves high precision.
– S2: Equally weighted combination is expected to achieve higher F1
performance
• Since the recall is relatively high
– Evaluation Results (http://www.acm.org/sigs/sigkdd/kdd2005/kddcup.html)
Submission ID Precision F1
S1 37 0.423741 0.426123
S2 22 0.414067 0.444395
• The Results are generated automatically.
Павел Браславский - Анализ запросов 48
[Shen]](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-48-320.jpg)
![Putting them together
Phase I Phase II Ensemble
[Shen]
Павел Браславский - Анализ запросов 49](https://image.slidesharecdn.com/random-100823082532-phpapp02/85/Analysis-of-Search-Queries-49-320.jpg)
Analysis of Search Queries
- 1. Анализ поисковых запросов Павел Браславский Киев, 5-6 августа 2010 года
- 2. План • 1 день – Введение – Характеристики потока запросов – Данные для анализа – Сегментация • 2 день – Машинное обучение (кратко) – Тематическая классификация – Близкие запросы – Академические инициативы Яндекса Павел Браславский - Анализ запросов 2
- 3. ВВЕДЕНИЕ Павел Браславский - Анализ запросов 3
- 4. Предварительные замечания • Логи запросов – «опыт» и богатство МП • «Меньше информации, больше контекста» (ср. Broder, 2007) • Мало открытых данных ( проблема для академических исследований) • Проблемы с персональными данными (приватность) • Очень короткие тексты – сложность анализа • Недостаток информации компенсируется большими объемами данных (веб) Павел Браславский - Анализ запросов 4
- 5. Статистика запросов к Яндексу Россия Украина Павел Браславский - Анализ запросов 5
- 6. Прямой эфир Павел Браславский - Анализ запросов 6
- 7. Личная история запросов Павел Браславский - Анализ запросов 7
- 8. Статистика слов запросов Павел Браславский - Анализ запросов 8
- 9. Traffic Volume Over a Day 8% 8% Note the drop in query volum e during off- peak tim e, and its subsequent rise 6% throughout the rem ainder of the day. 6% % of Daily 4% 4% Traffic 2% 2% Total Queries Distinct Queries 0% 0% 0 6 12 18 24 Hour of Day Павел Браславский - Анализ запросов [Beitzel] 9
- 10. Динамика запросов http://interes.yandex.ru/ Павел Браславский - Анализ запросов 10
- 11. Несколько цифр • Длина запроса 2-3 слова • Поисковая сессия в среднем 3 запроса • 2-3% сформулированы как вопрос • 12-15% запросов содержат опечатки Павел Браславский - Анализ запросов 11
- 12. Запросы – вопросы http://company.yandex.ru/facts/researches/ya_search_2009.xml Павел Браславский - Анализ запросов 12
- 13. Классификация запросов / информационных потребностей (Broder, 2002) Павел Браславский - Анализ запросов 13 Baeza-Yates
- 14. Category Breakdown Sampled Categorized Query Stream Breakdown • Query lists for each category Personal formed by a team of human Finance 3% editors Comput ing Ot her 9% • Query stream classified by T ravel 16% Research & exactly matching each query 5% Learn 9% to category lists Sport s 3% Ent ert ainment 13% Shopping 13% Games 5% Health Porn Holidays 5% 10% 1% US Sit es Home 3% 5% Павел Браславский -- Анализ запросов [Beitzel] 14
- 15. Category Popularity Over a Day P o rn En t ert ain m en t C ategorical C overage Over Time Gam es Healt h P erso n al Fin an ce Sh o p p in g M usic 4% USSit es 8% Vo l u m e 7% Percentage of Total Volume Percentage Coverage 3% 6% 5% 2% 4% 3% 1% 2% 1% 0% 0% 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Hour of Da y Павел Браславский - Анализ запросов [Beitzel] 15
- 16. Category Popularity Over Six Months Sept Oct Nov Dec Jan 2% Holidays Shopping 1% 0% 2% Sports Government % of Total 1% Query Stream 0% Sept Oct Nov Dec Jan Feb Months Павел Браславский - Анализ запросов [Beitzel] 16
- 17. Pearson Correlations for Selected Categories Over A Day 0 6 12 18 24 1.0 0.5 Personal Finance Music 0.0 1.0 0.5 Entertainment Movies 0.0 1.0 0.5 Games Computing 0.0 1.0 Pearson 0.5 Correlation Porn Government 0.0 0 6 12 18 24 Hour of Day Павел Браславский - Анализ запросов [Beitzel] 17
- 18. Какая информация у нас есть? • текст запроса • время • IP география • Cookie (уникальный) пользователь • клики на результатах поиска • (персональные данные, соцдем) Павел Браславский - Анализ запросов 18
- 19. Данные ( методы) • отдельные запросы • список запросов • + время • + сниппеты/документы • + клики • … Яндекс: ~6 Кбайт/запрос + ~0,5 Кб/клик Павел Браславский - Анализ запросов 19
- 20. Доступные данные • Excite 1997, 1999, 2001 • AOL 2006 • ИМАТ 2004 • MSN Search query Log excerpt (RFP 2006 dataset) • … Павел Браславский - Анализ запросов 20
- 21. Excite 1997 • Запросы за один день (16 сентября 1997 г.) • userId, timeStamp, query • ~1M запросов (много повторов) 0C6B5395895CD808 970916125351 henri rousseau 0C6B5395895CD808 970916125511 henri rousseau+tiger 949946B881F137F0 970916115517 "pharmacy" 949946B881F137F0 970916115550 prescriptions 91A98BC9BEDCF053 970916075435 australian+chat+victoria 61305D2ADC74BC78 970916095742 dailyplanet 61305D2ADC74BC78 970916095846 dailyplanet 33D1A0D49E8DB2AB 970916144916 maizehighschool 33D1A0D49E8DB2AB 970916144951 maize high school FCBB8401805D783F 970916212508 warez strata studio pro FCBB8401805D783F 970916212541 warez mac 12FE04344578F249 970916202819 "midwife conference" 12FE04344578F249 970916202924 midwifery 477CC4190EF76EB4 970916165602 nrwmac 477CC4190EF76EB4 970916172706 npac 477CC4190EF76EB4 970916175242 nrwmac Павел Браславский - Анализ запросов 21
- 22. ИМАТ 2004 • 7 дней * 10% от 5-10 миллионов запросов в день 3,5 Гб <UID1> <запрос1> <время> <найдено документов> <номер страницы> <URL1> <время выбора> <URL2> <время выбора> ... <запрос2> <время> <найдено документов> <номер страницы> <URL1> <время выбора> <URL2> <время выбора> ... ... <UID2> ... http://company.yandex.ru/academic/grant/datasets_description.xml Павел Браславский - Анализ запросов 22
- 23. AOL 2006 • Большой скандал!!! • ~20M web queries from ~650k users over three months AnonID Query QueryTime ItemRank ClickURL 993 myspace.co 01.03.2006 12:13 993 myspace.com 01.03.2006 12:13 993 googl 01.03.2006 15:03 993 chasebadkids.net 03.03.2006 16:55 1 http://www.chasebadkids.net 1268 ozark horse blankets 01.03.2006 17:39 8 http://www.blanketsnmore.com 1268 www.ghostrockranch.com 04.03.2006 13:58 1268 openrangeht.zachsairforce.com 09.03.2006 22:38 1268 sstack.com 11.03.2006 0:17 1268 www.mecab.org 12.03.2006 18:59 1268 www.raindanceexpress.com 18.03.2006 20:13 1268 www.victoriacostumiere.com 19.03.2006 0:26 1268 osteen-schaztberg.com 21.03.2006 17:55 1268 osteen-schatzberg.com 21.03.2006 17:55 1 http://www.osteen-schatzberg.com 1268 osteen-schatzberg.com 21.03.2006 17:55 2 http://www.osteen-schatzberg.com Павел Браславский - Анализ запросов 23
- 24. MSN Search query Log excerpt • 15 million queries • Sampled over one month • Queries from the US site (mostly English) Per query attributes included: • Session ID • Time-stamp • Query string • Number of results on results page • Results page number Data per query for each result clicked: • URL • Associated query • Position on results page • Time-stamp Павел Браславский - Анализ запросов 24
- 25. СЕГМЕНТАЦИЯ ЗАПРОСОВ Павел Браславский - Анализ запросов 25
- 26. Сегментация запросов Сегментация: 1. поиск 2. дальнейшая обработка запросов международный почтамт | москва молодежный отдых | в турции вечерняя москва vs пицца москва официальный сайт | автоваз Купить | кроссовки | Nike Zoom BB банк москвы vs банки москвы магазин | рыбачьте с нами ирина круг | пусть сейчас я плачу| слушать сбербанк россии | в алтайском крае знак зодиака | близнецы нино катамадзе | билеты Смысл названия | рассказа | матренин двор Сергей Тармашев | Корпорация | скачать | бесплатно Павел Браславский - Анализ запросов 26
- 27. Сегментация на основе лога conn(S) = freq(S)*I(w1…wn-1;w2…wn) msdn library visual studio 34259: (msdn library)[5110] (visual studio)[29149] 29149: msdn[47658] library[209682] (visual studio)[29149] 5110: (msdn library)[5110] visual[23873] studio[53622] 41: (msdn library visual studio)[41] 7: msdn[47658] (library visual studio)[7] 0: msdn[47658] library[209682] visual[23873] studio[53622] Risvik et al. WWW2003 Павел Браславский - Анализ запросов 27
- 28. Сегментация на основе ML нино | катамадзе | билеты (0, 1, 0, 1, 1, 0) (1, 1, 0, 1, 0, 1) Bergsma and Wang, 2007 Павел Браславский - Анализ запросов 28
- 29. Сегментация: «наивный подход» На основе веб-корпуса n-грамм Hagen at al. SIGIR2010 Павел Браславский - Анализ запросов 29
- 30. Сегментация: подходы • похоже на выделение устойчивых словосочетаний • например: генерация и взвешивание всех сегментов (частота + связность по логу); сегментация запроса = сумма весов всех сегментов • + микросинтаксис • лог vs корпус текстов • ML (больше признаков, более богатое описание) • language models • внешние ресурсы (Wikipedia) • эвристики ([дима билан][димабилан]) Павел Браславский - Анализ запросов 30
- 31. План • 1 день – Введение – Характеристики потока запросов – Данные для анализа – Сегментация • 2 день – Машинное обучение (кратко) – Тематическая классификация – Поиск похожих – Академические инициативы Яндекса Павел Браславский - Анализ запросов 31
- 32. Машинное обучение • См., например, материалы на www.informationretrieval.org Павел Браславский - Анализ запросов 32
- 33. ТЕМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ Павел Браславский - Анализ запросов 33
- 34. Тематическая классификация • список запросов • коллекция текстов • веб • клики Павел Браславский - Анализ запросов 34
- 35. Selectional Preferences: Step 1 • Obtain a large log of unlabeled web queries • View each query as pairs of lexical units: – <head, tail> – Only applicable to queries of 2+ terms – Queries with n terms form n-1 pairs – Example: “directions to DIMACS” forms two pairs: • <directions, to DIMACS> and <directions to, DIMACS> Павел Браславский - Анализ запросов [Beitzel] 35
- 36. Selectional Preferences: Step 2 • Obtain a set of manually labeled queries • Check the heads and tails of each pair to see if they appear in the manually labeled set • Convert each <head, tail> pair into: – <head, CATEGORY> (forward preference) – <CATEGORY, tail> (backward preference) Павел Браславский - Анализ запросов [Beitzel] 36
- 37. Selectional Preferences: Step 2 “Personal Finance” Category … Forward SP Rule: Query Log banks … bonds Head Tail Yahoo mail stocks PERSONAL interest rates rates interest FINANCE Ebay motors savings … checking … Павел Браславский - Анализ запросов [Beitzel] 37
- 38. Selectional Preferences: Step 3 • Score each preference using Resnik’s Selectional Preference Strength formula: S ( x ) = D ( P ( U |x ) || P ( U ) ) P ( u |x ) = ∑ P ( u |x ) lo g 2 u P (u ) Where u represents a category, as found in Step 2. S(x) is the sum of the weighted scores for every category associated with a given lexical unit Павел Браславский - Анализ запросов [Beitzel] 38
- 39. Selectional Preferences: Step 4 • Use the mined preferences and weighted scores from Steps 3 and 4 to assign classifications to unseen queries Matching SP Rule: Head Tail Incoming Query interest only loan PERSONAL interest FINANCE “interest only loan” is classified as a PERSONAL FINANCE query. Павел Браславский - Анализ запросов [Beitzel] 39
- 40. Selectional Preference Rule Examples Forward Rules Backward Rules – harlem club X – X gets hot wont start • ENT->0.722 • AUTOS->2.049 • PLACES->0.594 • PLACES->0.378 • TRAVEL->1.531 – X getaway bargain • PLACES->0.877 – harley all stainless X • SHOPPING->0.047 • AUTOS->3.448 • TRAVEL->0.862 • SHOPPING->0.021 – X getaway bargain hotel and – harley chicks with X airfare • PORN->5.681 • PLACES->0.594 • TRAVEL->2.057 Павел Браславский - Анализ запросов [Beitzel] 40
- 41. На основе коллекции текстов запрос поиск дом спорт музыка кино 15 10 5 0 Павел Браславский - Анализ запросов 41
- 42. KDD Cup 2005 • Классификация запросов • 800,000 запросов, 67 категорий • есть примеры, нет обучающего множества • нет подробного описания категорий • ответ системы: до 5 категорий • оценка: 800 запросов оцениваются тремя асессорами • метрика: F1 Павел Браславский - Анализ запросов 42
- 43. Nature of Problem queries ? … 67 kdd-categories Phase I Phase II Page Categories synonym-based classifier query … 67 kdd-categories Search engines Page Content statistical classifiers Павел Браславский - Анализ запросов [Shen] 43
- 44. Phase I: From queries to pages and categories • We collected • Input: – 40 million entries – A query: Qi, – 50GB • Output: • Search engines – <Page listi, Category listi > – Lumur (CMU open source) • Approach: – Google – through Search Engines (SE) – ODP – Looksmart Павел Браславский - Анализ запросов [Shen] 44
- 45. Phase II.a Synonym-based Classifier: using directories – 67 KDD-categories in KDDCUP • Advantage – Fast, – 172,565 in ODP/Google, – Precise 272,405 in Looksmart • Disadvantage – Many of the 172K and 272K • For each of the KDDCUP category categories from ODP/Google and Looksmart do not map to – Apply Wordnet to find the KDDCUP categories corresponding synonyms in the categories of ODP (Google) and – This may result in low recall Looksmart, respectively • This produces one mapping function f for each directory – Also returns a rank by matching frequency Павел Браславский - Анализ запросов [Shen] 45
- 46. Phase II.b: Statistical Classifiers • Statistical Classifiers – Support Vector Machine (SVM): mapping pages to KDDCUP categories • Training Data – 15 million pages with categories from ODP Directory – Apply the mapping f from Phase II.a, to build training data. 15 Million Pairs f 15 Million Pairs (page, odp-categories) (page, kdd-categories) • Application of the classifier – Construct a virtual document for each query by combining the snippets from the returned pages given in Phase I. – Classifier returns category and rank Павел Браславский - Анализ запросов [Shen] 46
- 47. Component Classifier Integration • We follow an ensemble learning approach – Each classifier returns the category and rank – The two kinds of classifiers have the similar performance. – We integrate the different classifiers together by a weighted sum of the ranks • Weights can be determined by validation data set: – Based on the performance on the 111 sample data; – Assign different weight values for a classifier on different categories – The higher the precision, the higher the weight value • We have also tried to use equally weighted component classifiers Павел Браславский - Анализ запросов [Shen] 47
- 48. Final Result Generation • Two Solutions: One for each evaluation criteria – S1: Using the validation data set is expected to achieve better precision measure • Since each component classifier is highly weighted on the classes where it achieves high precision. – S2: Equally weighted combination is expected to achieve higher F1 performance • Since the recall is relatively high – Evaluation Results (http://www.acm.org/sigs/sigkdd/kdd2005/kddcup.html) Submission ID Precision F1 S1 37 0.423741 0.426123 S2 22 0.414067 0.444395 • The Results are generated automatically. Павел Браславский - Анализ запросов 48 [Shen]
- 49. Putting them together Phase I Phase II Ensemble [Shen] Павел Браславский - Анализ запросов 49
- 50. Классификация на основе кликов 1. Расширение обучающего множества 2. Классификация на основе лексических признаков Li et al. SIGIR2008 Павел Браславский - Анализ запросов 50
- 51. БЛИЗКИЕ ЗАПРОСЫ Павел Браславский - Анализ запросов 51
- 52. михаил булгаков богдан ступка мастер и маргарита михаил боярский мастер и маргарита фильм д'артаньян владимир бортко три мушкетера тарас бульба фильм александр дюма Павел Браславский - Анализ запросов 52
- 53. Подробнее 1. Уточнение: золотое кольцо золотое кольцо с бриллиантом 2. Снятие неоднозначности: ягуар ягуар животное 3. Расширение: золотое кольцо ювелирные украшения 4. Синоним: японская вишня сакура Павел Браславский - Анализ запросов 53
- 54. Еще подробнее 5. Другой запрос на ту же тему: мерседес ауди 6. Смена поисковой цели: купить санки детский мир 7. Перевод: коралловый клуб coral club Павел Браславский - Анализ запросов 54
- 55. Близкие, но «про другое» • Опечатки: курсовая робота – курсовая работа • Транслитерация: золото – zoloto • Раскладка: lbvf ,bkfy – дима билан • Реникса: otbeptka – отвертка Павел Браславский - Анализ запросов 55
- 56. Хороший запрос – это непросто Назовите глагол из вопроса, помещенного на борту транспортного средства подопечных Фатиха Терима на первенстве континента? IX Кубок Яндекса по поиску (2008) http://kubok.yandex.ru Павел Браславский - Анализ запросов 56
- 57. Работа мысли • Фатих Терим • сборная турции на борту самолета • сборная турции "на борту" самолета • сборная турции надпись "на борту" самолета • сборная турции надпись "на борту" автобуса • сборная турции надпись на автобусе • футбол "сборная турции" надпись на автобусе • чемпионат европы футбол "сборная турции" надпись на автобусе Павел Браславский - Анализ запросов 57
- 58. Ответ Вместит ли автобус всю страсть Турции? Павел Браславский - Анализ запросов 58
- 59. Павел Браславский - Анализ запросов 59
- 60. Павел Браславский - Анализ запросов 60
- 61. Павел Браславский - Анализ запросов 61
- 62. Павел Браславский - Анализ запросов 62
- 63. Павел Браславский - Анализ запросов 63
- 64. Павел Браславский - Анализ запросов 64
- 65. Источники данных • Лог запросов • Текст ссылок • Корпус текстов ford ford focus, ford fusion, ford mondeo карта карта памяти, карта города машина стиральная машина, швейная машина Павел Браславский - Анализ запросов 65
- 66. Близость запросов q1 q2 q3 q4 слова/буквы сессии клики Павел Браславский - Анализ запросов 66
- 67. Метод запрос=<timeStamp, userId, queryText, ckicks> 0. чистка лога (порно, Яндекс, «подсказки», язык запросов, опечатки) 1. выделение сессий (по времени) 2. выделение пар (в.ч. транзитивно) Павел Браславский - Анализ запросов 67
- 68. Метод – 2 3. нормализация запросов (стоп-слова, капитализация, лемматизация, сортировка слов + выбор лучшего обратного преобразования) 4. борьба со флешмобами и «событийными» ассоциациями 5. матрица частоты переходов «запрос-запрос» (пороги для пользователя, ограничение на абсолютную частоту) 6. weight(q1 q2)= f(freqq1, freqq2, freqq1q2)*f(freqq2q1) 7. ранжирование, отсечение по порогу 8. индекс: q q1, q2, q3… (оригинальные запросы) Павел Браславский - Анализ запросов 68
- 69. Оценка • «оценка глазами» • «классы объектов» • кластеры запросов Яндекс.Директа • кликабельность Павел Браславский - Анализ запросов 69
- 70. Результат Павел Браславский - Анализ запросов 70
- 71. АКАДЕМИЧЕСКИЕ ИНИЦИАТИВЫ Павел Браславский - Анализ запросов 71
- 72. Академические инициативы • Школа Анализа Данных • Семинары Яндекса • ИМАТ 2009, ИМАТ 2010 • РОМИП • RuSSIR • IIR book Павел Браславский - Анализ запросов 72
- 73. Yandex School of Data Analysis two-year master program, http://shad.yandex.ru Павел Браславский - Анализ запросов 73
- 74. Teachers VC-dimension (Vapnik- Chervonenkis) Павел Браславский - Анализ запросов 74
- 75. Scientific seminars Monthly seminars on Data analysis & information retrieval Organized by Microsoft Research + Яндекс http://company.yandex.ru/public/seminars/schedule/ Павел Браславский - Анализ запросов 75
- 76. ИНТЕРНЕТ-МАТЕМАТИКА Павел Браславский - Анализ запросов 76
- 77. IMAT 2009 • Learning to rank • 245 features for query-document pairs • Graded relevance judgments (0..4) • Pure numeric data (i.e. no original queries, documents or feature semantics) • Learning set: 97 290 feature vectors (9 124 queries) • Test set: 115 643 vectors (21 103 – public evaluation; 94 540 – final evaluation) • Evaluation measure: DCG • http://imat2009.yandex.ru Павел Браславский - Анализ запросов 77
- 78. Павел Браславский - Анализ запросов 78
- 79. IMAT 2010 • Traffic congestion prediction • (Rough) data: – Modified graph of Moscow streets – Observed traffic speed 4-10 pm (4-min intervals) for 30 subsequent days + 4-6 pm on the 31st day • Task: predict traffic speed 6-10 pm of the 31st day • public/final evaluation • http://imat2010.yandex.ru Павел Браславский - Анализ запросов 79
- 80. Modified graph of streets Павел Браславский - Анализ запросов 80
- 81. IMAT 2010 Data • Graph: vertices (139 241/33 029) and edges (206 260/86 249) – <id_vertex> <id_group> – <id_edge> <id_edge_group> <start_vert> <end_vert> – <id_edge_group> <length> <avg_speed> • Observations (learning set, 29 226 208 lines) – <id_edge_group> <day> <time> <speed> • Task (691 641 lines) – <id_edge_group> <day> <time> ?? • Evaluation Павел Браславский - Анализ запросов 81
- 82. Павел Браславский - Анализ запросов 82
- 83. РОМИП Павел Браславский - Анализ запросов 83
- 84. ROMIP • TREC-like Russian initiative • Started 2002 • Several data collections • 15-20 participants every year • Remote participation + live meeting • ~3000 man-hours of evaluation (2009) http://romip.ru Павел Браславский - Анализ запросов 84
- 85. Tracks Ad-hoc text retrieval Web collection, legal collection Text categorization Web collection, legal collection Query-dependent summarization Image retrieval by image query near-duplicates detection News clustering QA Fact extraction from news collection Павел Браславский - Анализ запросов 85
- 86. Text retrieval pool collection size tasks labeled depth 60 000 Legal 14 794 35 75 (220) By.Web 1 524 676 29 231 20 550 (1060) KM.RU 3 010 455 29 231 50 50 (170) Павел Браславский - Анализ запросов 86
- 87. Image retrieval query by image Collection: 20 000 images from flikr 2 000 tasks, 250 labeled Near-duplicate detection Collection: 37 800 frames from video Павел Браславский - Анализ запросов 87
- 88. RUSSIR Павел Браславский - Анализ запросов 88
- 89. RuSSIR 2007 Yekaterinburg, 5-12 September 2007 co-located with CSR 2007 ~60 participants Video+slides: http://romip.ru/russir2007/schedule.html Павел Браславский - Анализ запросов 89
- 90. RuSSIR 2008 • Taganrog, 1-5 September 2008 • 4 courses + a short course + a lecture • Young scientists’ conference • ~100 participants • All courses in English • Materials: – http://videolectures.net/ – http://romip.ru/russir2008/program.html Павел Браславский - Анализ запросов 90
- 91. RuSSIR 2009 • Petrozavodsk, Karelia • 4 full courses, 1 short course, 1 lecture • Young scientists’ conference • All courses in English • ~110 participants • Co-located with ROMIP meeting • Video lectures – http://intuit.ru/ – http://videolectures.net • Presentations – http://romip.ru/russir2009/program.html Павел Браславский - Анализ запросов 91
- 92. RuSSIR 2010 • Voronezh, 13-18 September 2010 • Courses: – Web Data Mining - Ricardo Baeza-Yates, Yahoo! Research – Multimedia Information Retrieval - Stefan Ruger, The Open University – XML Information Retrieval - Mounia Lalmas, University of Glasgow – Graph-based Methods for Social Search - Alexander Troussov, IBM Ireland – Distributed Information Retrieval - Fabio Crestani & Ilya Markov, University of Lugano • http://romip.ru/russir2010/ Павел Браславский - Анализ запросов 92
- 93. Информационный поиск по-русски Оригинальная английская версия: http://informationretrieval.org Павел Браславский - Анализ запросов 93
- 94. Литература • Broder A. A Taxonomy of Web Search. SIGIR 2002. • Risvik K. M. et al. Query Segmentation for Web Search. WWW2003. • Bergsma S. & Wang Q. I. Learning Noun Phrase Query Segmentation. EMNLP-CoNLL 2007. • Hagen M. et al. The Power of Naïve Query Segmentation. SIGIR 2010. • Beitzel, S.M. et al. Temporal analysis of a very large topically categorized web query log, JASIST, vol. 58, no. 2, 2007. • Beitzel, S.M., et al. Automatic classification of web queries using very large unlabeled query logs. ACM Trans. Inf. Syst., 25(2):9, 2007. • Shen D. et al. Q2C@UST: Our Winning Solution to Query Classification in KDDCUP 2005, SIGKDD Explorations 7(2). • Li X. et al. Learning Query Intent from Regularized Click Graphs. SIGIR 2008. Павел Браславский - Анализ запросов 94
- 95. Ссылки • История про лог AOL – см. http://en.wikipedia.org/wiki/AOL_search_data_scandal • Query Log Analysis Workshop @ WWW2007, http://querylogs2007.webir.org/ • KDD Cup 2005, http://www.sigkdd.org/kdd2005/kddcup.html • WSCD09: Workshop on Web Search Click Data 2009, http://research.microsoft.com/users/nickcr/wscd09/ • Jiang D. Web Search/Browse Log Mining: Challenges, Methods, and Applications, http://research.microsoft.com/en- us/people/djiang/web_search_and_browse_log_mining.pdf • Демонстрация - определение пола по запросам: http://adlab.microsoft.com/Demographics-Prediction/ Павел Браславский - Анализ запросов 95
- 96. Павел Браславский pb@yandex-team.ru Павел Браславский - Анализ запросов 96