Иван Бондаренко
1 like510 views
Документ обсуждает использование машинного обучения для извлечения фактов и данных из текстов, включая приложения в медицине и веб-краулинге. Он акцентирует внимание на случаях, когда машинное обучение является полезным или бесполезным, а также описывает методологии и технологии, такие как глубокие нейронные сети и распознавание именованных сущностей. В документе также представлены результаты и метрики качества распознавания для различных задач.
Иван Бондаренко
- 1. ПиоNER: обучаемая система извлечения фактов из текста Иван Бондаренко Специалист по анализу данных
- 2. Что такое машинное обучение? Это методы решения задачи путём автоматического выявления закономерностей в эмпирических данных.
- 4. Когда машинное обучение вредно? ax2 + bx + c = 0 x = ?
- 5. Когда машинное обучение вредно? ax2 + bx + c = 0 x = ? Входные данные Желаемые выходные данные a b c x1 x2 2,00 3,50 1,00 -0,3596 -1,3904 -1,30 0,70 0,01 -0,0139 0,5524 3,00 -5,00 -3,33 2,1766 -0,5100 Обучающая выборка Глубокая нейронная сеть
- 6. Когда машинное обучение вредно? ax2 + bx + c = 0 x = ? Входные данные Желаемые выходные данные a b c x1 x2 2,00 3,50 1,00 -0,3596 -1,3904 -1,30 0,70 0,01 -0,0139 0,5524 3,00 -5,00 -3,33 2,1766 -0,5100 Обучающая выборка Глубокая нейронная сеть
- 7. Когда машинное обучение вредно? ax2 + bx + c = 0 x = ?
- 8. Когда машинное обучение бесполезно? Диагностика онкологических заболеваний Температура Давление Есть онкология? 37,3∘ C 120/80 да 36,6∘ C 100/70 нет 37,5∘ C 120/80 нет 37,8∘ C 130/90 да
- 9. Когда машинное обучение бесполезно? Диагностика онкологических заболеваний Температура Давление Есть онкология? 37,3∘ C 120/80 да 36,6∘ C 100/70 нет 37,5∘ C 120/80 нет 37,8∘ C 130/90 да
- 10. Когда машинное обучение бесполезно? Диагностика онкологических заболеваний Температура Давление Есть онкология? 37,3∘ C 120/80 да 36,6∘ C 100/70 нет 37,5∘ C 120/80 нет 37,8∘ C 130/90 да
- 11. Когда машинное обучение нужно? 1. Есть закономерности 2. Эти закономерности не описываются простыми формулами
- 12. Извлечение фактов из веб-сайтов 1) Извлечение данных из сайтов-каталогов 2) Извлечение фактов о компаниях с их корпоративных сайтов Веб-краулинг для заполнения справочников 2ГИС:
- 13. Named Entity Recognition ● Определяем классы распознаваемых сущностей (Named Entities) ● Размечаем учебный и тестовый корпус ● Обучаем алгоритм ● Извлекаем факты из новых страниц
- 14. Что распознаём?
- 15. Что распознаём?
- 16. Как размечаем?
- 17. Подготовленный корпус ● 10 асессоров ● Свыше 20 тыс. сущностей 11 классов ● 9 тыс. организаций ● 8 тыс. адресов ● 500 расписаний ● …
- 18. BIO-формат для классов NE Begin, Inside, Outside Минздрав Московской области: ул. Большая Полянка, д. 42/2, I этаж B-ORG I-ORG I-ORG B-STREET I-STREET I-STREET B-HOUSE I-HOUSE O O
- 19. Признаки слов ● Графико-орфографические признаки ● Морфология ● Синтаксис ● Словари ● HTML-признаки ● ...
- 20. Графико-орфографические признаки С большой буквы? Заканчивается двоеточием? Заканчивается точкой? Заканчивается запятой? Есть ли цифры? … Минздрав Московской области: ул. Большая Полянка, д. 42/2, I этаж 1 1 0 0 1 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 1 1 0 … … … … … … … … … …
- 21. Морфологические признаки Существительное? Глагол? Прилагательное? … Нормальная форма слова Минздрав Московской области: ул. Большая Полянка, д. 42/2, I этаж 1 0 1 0 0 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 … … … … … … … … … … минздрав московский область ул большой полянка д 42/2 I этаж
- 22. Синтаксические признаки Выделяются именные группы (Noun Phrases, NP) Минздрав Московской области: ул. Большая Полянка, д. 42/2, I этаж B-NP B-NP I-NP O B-NP I-NP O O O B-NP
- 23. Словарные признаки Входит в словарь госучреждений? Входит в географический словарь? Входит в словарь опциональных слов? … Минздрав Московской области: ул. Большая Полянка, д. 42/2, I этаж 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 0 1 1 0 0 1 0 0 0 … … … … … … … … … …
- 24. HTML-признаки Позиция на странице Уровень вложенности в DOM-дереве Форматирование … Минздрав Московской области: ул. Большая Полянка, д. 42/2, I этаж left, bottom left, bottom left, bottom left, bottom left, bottom left, bottom left, bottom left, bottom left, bottom left, bottom 7 7 7 8 8 8 8 8 8 8 bold bold bold normal normal normal normal normal normal normal … … … … … … … … … …
- 25. Матрица признаков для веб-страницы Слово X Y Адрес: 143904 г. Балашиха, пр. Ленина, д.21 1 1 0 0 1 … 0 1 0 1 0 1 0 0 … 0 0 0 0 0 1 1 0 … 0 0 0 1 0 0 1 0 … 1 0 0 0 0 0 1 0 … 0 0 0 1 1 0 1 0 … 1 0 0 1 0 1 1 0 … 0 0 1 O B-ZIPCODE B-CITY I-CITY B-STREET I-STREET B-HOUSE
- 26. Conditional Random Fields (CRF) T - количество слов в распознаваемой последовательности xt = (xt 1 , xt 2 , …, xt k , …, xt K ) - признаки t-го слова (K - общее количество признаков), yt ∈ S - класс t-го слова (s1 = ORG, s2 = SCHEDULE, s3 = TEL, и т.п.) y0 y1 yT-1 yT y2 x1 xT-1 xT x2 …
- 27. Распознавание с помощью CRF
- 28. Распознавание с помощью CRF y0 =<START> Адрес: Станционная, дом 104 x1 x2 x3 x41 0 0 1 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 1 y1 =B-HOUSE y1 =I-HOUSE y1 =B-STREET y2 =B-HOUSE y2 =I-HOUSE y2 =B-STREET y2 =O y3 =B-HOUSE y3 =I-HOUSE y3 =B-STREET y3 =O y4 =B-HOUSE y4 =I-HOUSE y4 =B-STREET y4 =Oy1 =O
- 29. Обучение CRF
- 31. ПиоNER: текущие результаты Precision = 90,07% Recall = 70,74% F1 = 79,12%
- 32. ПиоNER для других задач 2ГИС - Аптеки 2ГИС - Шины
- 33. 2ГИС - Аптеки
- 34. Исходные данные Сбор Бруснивер фильтр-пакеты по 2 г, 20 шт. Целебрекс капсулы 100 мг, 10 шт. Пуэрто-Рико Пфайзер Фармасьютикалз ЭлЭлСи Целекоксиб Синафлан линимент 0,025%, 15 г по рецепту Россия НИЖФАРМ Флуоцинолона ацетонид Анти-ангин спрей для горла, 25 мл 100 доз Простамол Уно капсулы 320 мг, 60 шт.
- 35. Размеченные данные Сбор Бруснивер фильтр-пакеты по 2 г, 20 шт. Целебрекс капсулы 100 мг, 10 шт. Пуэрто-Рико Пфайзер Фармасьютикалз ЭлЭлСи Целекоксиб Синафлан линимент 0,025%, 15 г по рецепту Россия НИЖФАРМ Флуоцинолона ацетонид Анти-ангин спрей для горла, 25 мл 100 доз Простамол Уно капсулы 320 мг, 60 шт.
- 36. 2ГИС - Шины
- 37. Исходные данные Toyo Observe G3-Ice 215/60-R16 T 95 Кама Евро 519 175/65-R14 Nokian Nordman 5 155/70-R13 T 75 Dunlop Ice Touch 185/65-R14 T 86 Matador MP 30 Sibir Ice 2 215/65-R16 T 102
- 38. Размеченные данные Toyo Observe G3-Ice 215/60-R16 T 95 Кама Евро 519 175/65-R14 Nokian Nordman 5 155/70-R13 T 75 Dunlop Ice Touch 185/65-R14 T 86 Matador MP 30 Sibir Ice 2 215/65-R16 T 102
- 39. Результаты для Аптек и Шин 2ГИС - Аптеки Precision = 97,14% Recall = 93,74% 2ГИС - Шины Precision = 97,52% Recall = 96,61% * * регулярки ~ 50%