SE2016 Java Alexey Tokar "To find a needle in a haystack"
0 likes111 views
Документ обсуждает различные методы поиска информации, включая простое и хеширование для строкового поиска, а также более сложные подходы, такие как расстояние Левенштейна и алгоритм Джаро-Винклера. Также рассматривается использование структур данных, таких как радиксные префиксные деревья и фильтры Блума. В документе представлены примеры реализации алгоритмов и их применения в поисковых системах.
![Найти иг[ло]ку в
стоге сена](https://image.slidesharecdn.com/alexeytokartofindaneedleinahaystack-161005032229/85/SE2016-Java-Alexey-Tokar-To-find-a-needle-in-a-haystack-1-320.jpg)
SE2016 Java Alexey Tokar "To find a needle in a haystack"
- 1. Найти иг[ло]ку в стоге сена
- 5. Text search
- 7. Simple matching String needle = getUserInput(); for ( String title : dictionary ) { if ( title.equals( needle ) ) { System.out.println( “Gotcha!” ); } }
- 8. Simple matching: better String needle = getUserInput().toLowerCase(); for ( String title : dictionary ) { if ( title.startsWith( needle ) ) { System.out.println( “Gotcha!” ); } }
- 9. Simple matching: awesomest ! String needle = “транс”; начало сравнений ... терминатор транзит трансамерика трансильвания трансформеры ...
- 11. Hash-based search .hashCode() % buckets.length buckets Терминатор 1207003689 00 Альф 32058595 01 Поймай меня если сможешь 824411401 02 Умри, но не сейчас 1792373633 03 Зловещие мертвецы 1534549542 04 Терминал 1534215135 05 09 ...
- 14. Radix trie ме с довый месяц т яц в деревне о ь в сына встречи уду ампира илли ... Медовый месяц Месяц в деревне Месть вампира Месть вуду Месть вилли Место сына Место встречи ...
- 15. Radix trie
- 17. Fuzzy search factors Трансформеры перестановка трансфромеры вставка транссформеры удаление тр_нсформеры замена трансформиры
- 18. Levenshtein distance Ученый-математик, доктор физико-математических наук. Функцию его имени можно найти в любом языке программирования. http://ethw.org/images/8/83/Levenshtein.jpg
- 19. Jaro-Winkler distance s - длина слова m - кол-во совпавших сомволов t - половина транспозиций l - длина общего префикса p - коэф.сглаживания (~0.1)
- 20. Jaro-Winkler distance m = 5 W1 W2 d хорошо шорох 0.7 пробка коробка 0.78 звезда звездный 0.89
- 22. Depth-first search (DFS) A B C DC A C DB D E F Needle = ABCD ABCD ABC(B→D) AB(+C)D A(C→B)CD A(C→B)C(E→D) A(C→B)C(F→D) A(+B)C(A→D)
- 24. N-gram АЛО начАЛО, русАЛОчка, волшебное зеркАЛО ... АЧА нАЧАло, удАЧА, нАЧАльники ... НАЧ НАЧало, НАЧальники, геркулес НАЧало ... ЧАЛ наЧАЛо, мгновения пеЧАЛи, наЧАЛьники ... Начало (Inception), 2010 год
- 25. N-gram
- 27. N-gram
- 29. Template hashing T R A N S F O R M E R S 1 0 1 0 0 0 1 1 1 1 0 0 0 A C E G I K M O Q S U W Y B D F H J L N P R T V X Z
- 30. Template hashing
- 31. Bloom filter 0 1 0 0 0 0 1 1 0 0 Needle
- 32. Bloom filter