Ruwikt
0 likes523 views
Документ описывает семинар по построению машинно-читаемого словаря на основе русского викисловаря, проведенный в 2010 году. Основное внимание уделяется целям и задачам создания словаря, его применению в различных компьютерных программах, а также процессу разработки парсера и базы данных. Семинар также рассматривает достоинства и трудности работы с данными викисловаря, а также планы по дальнейшей разработке и интеграции функций.
![Внутренние ссылки (1)
# находящийся в [[работа|работе]];
предварительный, пробный, черновой](https://image.slidesharecdn.com/14nlpseminaraotruwiktru-100407043330-phpapp02/85/Ruwikt-15-320.jpg)
![[[Категория:Имя категории]]
Цель: Автоматизация оглавления, поиск
Грамматические категории
Часть речи
Тип словоизменения Вшиты
Одушевлённость в
Грамматический род шаблоны
Стилистические свойства
Служебные
Семантика
{{categ|Работа и труд|Рабочие|lang=}}](https://image.slidesharecdn.com/14nlpseminaraotruwiktru-100407043330-phpapp02/85/Ruwikt-19-320.jpg)
![Правила извлечения текста:
Регулярные выражения (1)
({{)-([-_a-zA-Z]{2,9})-(?:}}||.*?}})|(Q{{заголовок|E)(.*?)}}
1. {{-ru-}} {{-en-}} {{-de-}} –> ru en de
2. {{-de-|schwalbe}} -> de
3. {{заголовок|ka|add=}} -> ka|add=
{{заголовок|ka}} -> ka](https://image.slidesharecdn.com/14nlpseminaraotruwiktru-100407043330-phpapp02/85/Ruwikt-26-320.jpg)
![Регулярные выражения (2)
1. ====?s*Значениеs*====?s*n
2. (?m)^==s*([^=]+?)s*==s*
==рабочий I==, == Существительное I ==
3. #(REDIRECT|ПЕРЕНАПРАВЛЕНИЕ) [[(.+?)]]
#ПЕРЕНАПРАВЛЕНИЕ [[нелётный]] -> нелётный](https://image.slidesharecdn.com/14nlpseminaraotruwiktru-100407043330-phpapp02/85/Ruwikt-27-320.jpg)
Ruwikt
- 1. Семинар NLP 2010 Построение машинно- читаемого словаря на основе Русского Викисловаря Санкт-Петербургский институт информатики и автоматизации РАН Крижановский Андрей (andrew.krizhanovsky ... gmail.com)
- 2. Содержание Викисловарь применение достоинства и трудности обработки MRD, парсер и сравнение Викисловарей Эксперимент Корреляция мер семантической близости Результаты 2
- 3. Цель Сделать возможным применение данных Викисловаря (как лингвистического ресурса) в различных компьютерных программах, в задачах, связанных с обработкой текста.
- 4. Применение Викисловаря в компьютерных программах: текстовые поисковые системы расширение / переформулировка запросов с помощью тезаурусов запросно-ответные системы распознавание запроса в задачах: определение значения многозначного слова сравнение онтологий (ontology matching) автоматическое создание тезаурусов машинный перевод компьютерные игры для изучения языков Медиа данные (звук + иллюстрации)
- 5. Задача Преобразования данных Викисловаря в машинную форму, а именно: машинно-читаемый словарь (MRD). MRD включает: Данные (база данных), Алгоритмы и функции (API)
- 6. Викисловарь – много- Грамматический функциональный Толковый Этимологический многоязычный Многоязычный словарь и тезаурус
- 7. Викисловарь = вики + ? ? Структура статьи = f (язык, ~часть речи) ? Определена последовательность частей статьи ? Шаблоны: ? структурные шаблоны ({{пример|}}, {{морфо|}}) ? словоизменений, этимологии, родств. слова, пометы… Т.о. жёсткая схема даёт: + единообразие, системность + возможность автоматически анализировать текст 7
- 8. Данные Викисловаря: плюсы и трудности + Богатство − Разная степень + тезаурус стандартизации и (синонимы, антонимы…) + фразеологизмы формализации + этимология (структура статьи) в + произношение разных Викисловарях + примеры употр-ий − Быстрый рост данных, + переводы но толпа: +… − Ручной ввод данных => + Быстрый рост − Ошибки => Парсер д.б. устойчив! + Интервики (доп. д.) − Омонимия вне + Свободная лицензия страницы (см. дальше) 8
- 9. Данные Викисловаря: какие ещё статьи? Слова Устойчивые выражения, пословицы, поговорки, крылатые слова, народные приметы, загадки, скороговорки, сокращения Отдельные морфемы — корни, суффиксы, приставки и т. д. Омонимы, омографы, анаграммы, метаграммы и рифмы
- 10. Требования к парсеру, БД и процессу разработки Надёжность и устойчивость (lang=zzz, 8) Unit-тесты > 200, визуализация Гибкость (раскопки форматов и правил) Тестирование («живая» документация) Визуализация (Wiwordik, JavaFX) Викисловарь ++. (рост в ширину) парсер = ядро + языкозависимая часть, ru + en Инкрементальный подход (рост в глубину) ¿Интеграция?
- 11. Структура словарной статьи в Русском Викисловаре
- 12. Структура статьи и БД
- 13. Структура статьи и БД
- 14. Структура (толкование) третье значение
- 15. Внутренние ссылки (1) # находящийся в [[работа|работе]]; предварительный, пробный, черновой
- 16. Внутренние ссылки (2): ? Частота конкретных форм слова в словаре page_inflection . term_freq Информация о ссылках / ключевых словах толкования на другие словарные статьи в поиск-х алг. (поиск синонимов) Слова, для которых есть ссылки, но нет словарных статей – всё равно добавляются в таблицу «page».
- 17. Семантические отношения
- 19. [[Категория:Имя категории]] Цель: Автоматизация оглавления, поиск Грамматические категории Часть речи Тип словоизменения Вшиты Одушевлённость в Грамматический род шаблоны Стилистические свойства Служебные Семантика {{categ|Работа и труд|Рабочие|lang=}}
- 20. {{Шаблонизация}} всей страны! + Шаблоны автоматически проставляются ботами при создании статьи + Централизованная смена внешнего вида сразу многих статей + Автоматизация редактирования (ботами, парсером), т.к. есть разметка спец-ми конструкциями + Автоматизация категоризации × {{сущ ru m ina}} → категории «Мужской род» и «Неодушевлённые» ─ Сложность освоения ☻
- 21. {{Шаблонизация}} Примеры × {{-ru-}}, {{пример|}} × Фонетические: {{transcriptions||}}, {{медиа}} × {{морфо|под|вод|и|ть|ся}} × Морфологические: × {{сущ ru}}, {{прил ru}}, {{сущ ru m ina}}, {{adv ru}} × {{сущ eo}}, {{прил eo}}, {{adv eo}}, {{гл eo}} × Шаблоны библиографии × {{НКРЯ}}, {{Ушаков1940}}, {{Эпитет1913}} × Технические (из Википедии): × {{За}}, {{wikify}}, «вавилонские шаблоны»
- 22. Быстрый поиск на заданном языке (1)
- 23. Быстрый поиск на заданном языке (2) 1 таблица + ещё 561 таблица Список кодов языков: http://ru.wiktionary.org/wiki/шаблон:перев-блок
- 26. Правила извлечения текста: Регулярные выражения (1) ({{)-([-_a-zA-Z]{2,9})-(?:}}||.*?}})|(Q{{заголовок|E)(.*?)}} 1. {{-ru-}} {{-en-}} {{-de-}} –> ru en de 2. {{-de-|schwalbe}} -> de 3. {{заголовок|ka|add=}} -> ka|add= {{заголовок|ka}} -> ka
- 27. Регулярные выражения (2) 1. ====?s*Значениеs*====?s*n 2. (?m)^==s*([^=]+?)s*==s* ==рабочий I==, == Существительное I == 3. #(REDIRECT|ПЕРЕНАПРАВЛЕНИЕ) [[(.+?)]] #ПЕРЕНАПРАВЛЕНИЕ [[нелётный]] -> нелётный
- 28. Перенаправления 1. Указание основной формы слова • маня -> манить 2. Подсказка об ошибке всё-равно -> всё равно 3. Диакритики • зверье –> зверьё, coeur -> cœur 4. Неточная кодировка • лiс –> ліс (I латиница, І кириллица) 5. Со строчной буквы на прописную москва -> Москва
- 29. Реализация 1 Программный код включает наработки: synarcher – поиск синонимов в Википедии wikidf – индексирование текстов Википедии Java База данных: MySQL - для разработки и тестирования SQLite – в скачиваемом приложении JUnit тестирование 29
- 31. Размеры Викисловарей WordNet (2006): 150,000 слов, 115,000 синсетов (наборов синонимов)
- 33. Кратчайший путь в Русском Викисловаре
- 34. Корреляция мер семантической близости Корреляция мер семантической близости слов: 1) значения экспертов (набор 353-TC), 2) значения вычислены автоматически на основе WordNet, Английской Википедии, Русского Викисловаря
- 35. Восемь самых больших Викисловарей (янв 2010)
- 36. Результаты Создан парсер Русского Викисловаря Спроектирована схема БД Реализован доступ к БД (API, Java) Выполнено сравнение результатов поиска семантически близких слов на основе Викисловаря и тезауруса WordNet Сайт проекта (Wiki tool kit) http://code.google.com/p/wikokit/ 36
- 37. Сделано и ещё делать (схема БД, парсер) • Извлекаются (RE) Русский Викисловарь – Толкование English Wiktionary – определение – помета, цитата, картинка • Уровни – Отношение – Схема БД (+ table) (синонимы…, помета) – API Базы данных – Перевод – Код (+ class, RE) – Фонетика – Транскрипция, Аудио – Этимология – Фразеологизмы, поговорки, пословицы –…
- 38. Планы Продолжить разработку MRD Наращивание функц-ти парсера, отладка + English Wiktionary Визуализация (JavaFX) MRD браузер Игры и тесты (изучение иностранных языков)
- 39. Спасибо за внимание! http://ru.wiktionary.org/