Cфинкс и поиск терабайта
0 likes336 views
Документ описывает Sphinx, систему для организации полнотекстового поиска, которая интегрируется с различными базами данных и предлагает высокую скорость индексации и поиска. Основные компоненты включают индексатор для создания индексов и поисковый демон для обработки запросов, а также обсуждаются возможности фильтрации, группировки и ранжирования результатов. Упомянуты также преимущества распределенного поиска и рекомендации по обновлению данных в зависимости от объемов информации.
![C финкс и поиск терабайта Илья Кузнецов [email_address]](https://image.slidesharecdn.com/random-090723092829-phpapp01/85/C-1-320.jpg)
Cфинкс и поиск терабайта
- 1. C финкс и поиск терабайта Илья Кузнецов [email_address]
- 2. Что такое sphinx? Система для организации полнотекстового поиска Бесплатн ая Открытая ( o pen-source) Интеграция с БД MySQL, pgSQL «из коробки» поддержка других БД в будущем XML Помимо «просто» поиска ф ильтрация , г руппировка , со ртировка распределенный поиск многое другое
- 3. Benchmarks Высокая скорость : индексация : 4-12 mb/s поиск : до нескольких сотен запросов в секунду на 1 CPU «Тяжелые» инсталляции : по объему данных : 1.2 млрд документов, > 1.5 TB текста по количеству запросов : ~30 млн поисков в день используется распределенный поиск
- 4. Общие сведения Две основные программы indexer: создает FT индексы из источников данных searchd: поисковый демон, обслуживает запросы Набор API для разных языков л егковесные нативные клиенты к searchd PHP, Python, Ruby, Perl, Java… SphinxSE в страиваемый в MySQL клиент н е хранит данные, предоставляет доступ к searchd
- 5. Индексация Источники данных MySQL, pgSQL xmlPipe Индексы хранятся в файловой системе имеют монолитный формат не хранят исходный текст
- 6. Индексация : возможности Stemmers р усский , а нглийский , soundex , metaphone возможность подключения libstemmer Wordforms Infixes , prefixes HTML stripper 1-grams Phrase boundaries Exceptions
- 7. Поиск Поиск идет по заранее построенным индексам Ранжирование результатов : по степени близости фразы по частоте ключевых слов в коллекции по частоте ключевых слов в документе Атрибуты : целочисленные , float, multi-valued фильтрация, сортировка, группировка
- 8. Фильтры или ключевые слова? Основная идея : вместо использования фильтров, добавлять искусственные ключевые слова при индексации Pipeline поиска : Определяются кандидаты по результатам булева запроса Кандидаты фильтруются Кандидаты ранжируются Результаты сортируются $sphinxClient->Query ( “laptop _vnd123”, “products” ); вместо $sphinxClient->SetFilter ( “vendor”, 123 ); $sphinxClient->Query ( “laptop”, “products” );
- 9. Фильтры или ключевые слова? Фильтры : использовать в случае, когда выборка по ключевым словам дает много результатов Искусственные ключевые слова : использовать в случае, когда выборка по ним возвращает мало результатов Ключевое слово : избирательность (селективность)
- 10. Монолитные индексы Тяжело обновлять данные, полная переиндексация обычно быстрее Для малых объемов данных – быстрая переиндексация Для больших объемов данных – схема main+delta Возможны варианты : main+3month+week Динамическое обновление атрибутов
- 11. Распределенный поиск Агент 1 Источник : SOURCE1 Индекс : INDEX1 Хост : BOX1 Агент 2 Источник : SOURCE2 Индекс : INDEX2 Хост : BOX2 Агент 3 Источник : SOURCE 3 Индекс : INDEX3 Хост : BOX3 Агрегатор Распределенный индекс : DIST1 Хост : WEB1
- 12. Пример настроек удаленного индекса Помимо распределенного поиска на удаленных машинах, можно применять на multi-core системах Распределенный поиск index dist1 { type = distributed local = index4 agent = box 1 :3312:index1 agent = box 2 :3312:index2 agent = box 3 :3312:index3 }
- 13. 2-я тысяча результатов По умолчанию – 1000 результатов Обрабатываются все кандидаты Хранится лучшая тысяча Для типового применения этого достаточно Для пост-обработки лучше использовать возможности sphinx: фильтрацию сортировку группировку
- 14. Заключение Значительная часть возможностей sphinx не попала в доклад Пробуйте! http://sphinxsearch.com/