Computer Semantics And Machine Translation
3 likes718 views
Документ охватывает тему компьютерной семантики и методов машинного перевода, включая статистические и классические подходы к переводу. Рассматриваются различные аспекты семантического анализа, такие как полисемия, структурирование предложений и использование переводных словарей. Также обсуждаются современные технологии и алгоритмы, применяемые в машинном переводе, включая их преимущества и недостатки.
![Литература
[1] Тузов В. А. Компьютерная семантика русского языка, СПб.: Изд-во С.-
Петерб. ун-та, 2004. 400 с.
[2] Mona Baker, Routlege Encyclopedia of Translation Studies, 2001, ISBN 0-203-
35979-8
[3] Мельчук И. А. Русский текст в модели «смысл<->текст». М.: Языки русской
культуры, 1995. 682 с.
[4] http://www.hutchinsweb.me.uk/MTJ-2000.pdf
[5] http://www.hutchinsweb.me.uk/IJT-2004.pdf
[6] http://www.scientific.ru/trv/2008/013/ostap_bender.html
[7] Natural Language Processing, Instructor: Manning, Christopher D., Stanford
School of Engineering
[8] http://translate.google.com
[9] http://www.translate.ru/text_Translation.aspx
[10] Кан Д. А., Лебедев И. С.: Линеаризация при синтезе предложений на
естественном языке // Политехнический симпозиум «Молодые ученые
промышленности Северо-Западного региона»; материалы конференций. СПб.:
Изд-во С.-Петерб. политехн. ун-та, 2007. С. 15-16](https://image.slidesharecdn.com/computersemanticsandmachinetranslation-090428081212-phpapp01/85/Computer-Semantics-And-Machine-Translation-43-320.jpg)
Computer Semantics And Machine Translation
- 1. Компьютерная семантика и машинный перевод Дмитрий Кан 3 курс аспирантуры ПМ-ПУ, СПбГУ 2009
- 2. Outline Компьютерная семантика Машинный перевод Статистика и классика Гибридные подходы Иерархическая линеаризация Переводной семантический словарь
- 3. Введение в компьютерную семантику Глаголы, предлоги, слова-свойства Базисные функции Иерархия классов (картина мира + снятие полисемии=функции с разными аргументами) Присоединение слов Взаимодействие: морфология, синтаксис, семантика Полисемия (разбивать: чашку, сквер, колено, сердце)
- 4. Этапы формализации языка Отделение семантики от прагматики Предложение как запись команд Выполнение предложения по суперпозиции по функций Анализ слова Анализ предложения Отличие от предикатов
- 5. Базисные функции Caus(x,y) – x делает так, чтобы y (x каузирует y) Cont (x) – x продолжается Lab(x,y) – x подвергается действию y Incep(x) – x начинается Fin(x) – x заканчивается, перестает Func (x) – имеет место быть x Perf(x) – перфектность (завершенность) x Fact(x) – x соблюдается Prepar(x) – x приготовляется Multo(x) – множество x Ne x – не x.
- 6. Смыслы СОБЛЮДАТЬСЯ Fact(Им) НАРУШАТЬСЯ Fin Fact(Им) СОБЛЮДАТЬ Caus(Им,Cont Fact(Вин)) НАРУШИТЬ Perf Caus(Им,Fin Fact(Вин)) НАРУШАТЬ Caus(Им,Fin Fact(Вин)) ГАСИТЬ Caus(Им,Fin Lab(Вин,ОГОНЬ)) Гасить свечу ГАСИТЬ Caus(Им,Fin Func (ПРОЦЕСС Вин)) Гасить колебания ГОРЕТЬ Lab(Им,ОГОНЬ) ЗАГОРЕТЬСЯ Perf Incep Lab(Им,ОГОНЬ) ПОГАСИТЬ Perf Caus(Им,Fin Lab(Вин,ОГОНЬ)) ПОТУШИТЬ Perf Caus(Им,Fin Lab(Вин,ОГОНЬ)) Потушить свечу ПОТУШИТЬ Perf Caus(Им,Prepar(ПИЩА Вин)) Потушить картошку ТУШИТЬ Caus(Им,Fin Lab(Вин,ОГОНЬ)) Тушить свечу ТУШИТЬ Caus(Им,Prepar(ПИЩА Вин)) Тушить картошку.
- 7. Машинный перевод: мотивация Перевод объвлений, изучение языков Перевод запросов для расширения области поиска и перевод результатов поиска Семантика по WordNet: перевод на английский Публикация статей!
- 8. Исторические вехи Иностранный текст, как криптографический шифр ALPAC доклад Systran, ПРОМТ, Google Translate
- 9. Google translate But the ambition is to produce reams of paper that could one day power a car. Google Translate Beta (Статистический подход, США, 1е место на NIST, 2005): Но амбиция заключается в том, чтобы производить пачек бумаги , которые могли бы один день мощность автомобиля.
- 10. ПРОМТ But the ambition is to produce reams of paper that could one day power a car. PROMT Translator (Традиционный подход, Россия, год основания: 1991) Но амбиция состоит в том, чтобы произвести стопки бумаг, которые могли однажды привести автомобиль в действие.
- 11. Systran But the ambition is to produce reams of paper that could one day power a car. Systran (Традиционный подход, Франция, год основания: 1968) Но гонор произвести reams бумаги которые смогли дн сила автомобиль.
- 12. Основные подходы Interlingua Анализ Transfer Порождение $_source Direct $_target
- 13. Методы машинного перевода MT Rule-Based MT Data-Driven MT Transfer Interlingua EBMT SMT (Example based MT)
- 14. SMT in a nutshell Максимизировать p(e|f), e – предложение перевода, f – предложение оригинала Теорема Байеса: p e p f e p e f 1 p f
- 15. SMT in a nutshell #1 p(e) – Языковая модель, которая: Назначает наибольшую вероятность беглым, грамматически верным предложениям Вычисляется по одноязычному корпусу p(f|e) – Модель перевода Назначает наибольшую вероятность парам предложений с одним значением Вычисляется по двуязычному корпусу
- 17. Подзадачи МП Лемматизация (русский, финский) Переупорядочение слов Переводные словари (фразовые или семантические) Маппинг синтаксических структур (японский: рекурсивный синтаксис) Word alignment Sentence alignment Parallel corpora
- 18. Методы оценки СМП BLEU score METEOR Round-trip
- 19. BLEU score c – длина перевода- кандидата r – длина Reference корпуса База: N=4, wn=1/N
- 20. Word reordering Статистика: N!, сужение пространства перебора Классика: математические методы, теория мереологии, иерархическая линеаризация (не упорядочение!)
- 21. Иерархическая линеаризация Мельчук (слабые и сильные связи) Слово определяет строгий порядок группы слов Слова соединяются в группы (деепр. обороты) Слова не вляют на взаимный порядок Семантическое дерево STL-like tree Перенос поддеревьев Сложные предложения (Я постучал, и Петя открыл дверь) Приложения: МП, plagiarism detection, summarization
- 22. Пример семантического дерева любит<X007.004> (@Вин Сашу<X003.002><+СущСущ3+> (@Вин Умного<X001.001><+Какой:ПрилСущ7+>, @Вин красивого<X002.001><+Однородный:ОднорПрил6+>), @Им Маша<X006.003><+СущГлаг3+> (@Им интересная<X004.001><+КАКОЙ:ПрилСущ7+>, @Им замечательная<X005.001><+Однородный:ОднорПрил6+>) ) . Умного красивого Сашу любит интересная замечательная Маша.
- 24. Tree in C++ STL style
- 25. Правила линеаризации (русский язык) Узлы подлежат обмену только на одном уровне в семантическом дереве При синтезе уточняющие прилагательные предшествуют существительным Притяжательные местоимения также предшетсвуют существительным Предлоги предшествуют своим поддеревьям в синтезируемом предложении Замечательная интересная Маша любит красивого умного Сашу.
- 26. Псевдо-код
- 27. Псевдо-код#1
- 28. Псевдо-код#2
- 29. Переводной семантический словарь 7 лет на семантический словарь: частично автоматическое построение Для перевода: важнейший компонент Как ускорить процесс?
- 30. Ответ: GIZA++ Гибридный подход Статистическое выравнивание слов Автоматическая генерация словаря Необходимость параллельного корпуса Проверка качества через экспериментальную СМП
- 31. NULL And the program has been implemented | | | | | | | GIZA++ | | | | | | | | +-+---+ | | | Le programme a ete mis en application Модуль выравнивания слов Входит в состав пакета Moses (статистический МП) 86000 предложений -> 1,3 млн пар слов в выходных данных Задача разрешения полисемии Высокий уровень избыточности данных в словаре
- 32. GIZA++: output Desperate to hold onto power , Pervez Musharraf has discarded Pakistan ' s constitutional framework and declared a state of emergency . NULL ({ 20 }) В ({ }) отчаянном ({ 1 3 4 }) стремлении ({ 2 }) удержать ({ }) власть ({ 5 }) , ({ 6 }) Первез ({ 7 }) Мушарраф ({ 8}) отверг ({ 9 10 }) конституционную ({ 14 15 }) систему ({ }) Пакистана ({ 11 12 13 }) и ({ 16 }) объявил ({ 17 }) о ({ 18 }) введении ({ }) чрезвычайного ({ 19 21 }) положения ({ }) . ({ 22 })
- 33. Таблица соответствий слов NULL of отчаянном Desperate to hold стремлении to власть power , , Первез Pervez Мушарраф Musharraf отверг has discarded конституционную constitutional framework Пакистана Pakistan ’ s и and объявил declared о a чрезвычайного state emergency . .
- 34. Схема алгоритма GIZA++ Переводной || корпус merging семантический словарь Семантический анализатор
- 35. Выдержка из словаря В Y1>HabU(Y1:,ПРЕД:Z1) <149>--->Within В Y1>Loc(Y1:,ВНУТРИ$12/313/05(ПРЕД:Z1)) <146>--->at В Y1>Loc(Y1:,Oper01(#,ПРЕД:Z1)) <208>--->In В Y1>Loc(Y1:,ПРЕД:Z1) <224>--->Throughout ... МАРШАЛЛ S1>Hab(S1:ЧЕЛОВЕК$1241,S0:ФАМИЛИЯ$1241/11) <2> --->Marshall ... НА Y1>Direkt(Y1:,ВЕРХ$12/141/05(ВИН:Z1)) <67>--->at НА Y1>Direkt(Y1:,РОД:Z1) <100>--->on НА Y1>Direkt(Y1:,РОД:Z1) <69>--->for НА Y1>Direkt(Y1:,РОД:Z1) <74>--->for the ... ОБРАЗ (РОД:Z1) <2>--->a way ОБЩЕМИРОВОЙ A1>Rel(A1:НЕЧТО$1,ПОЛНЫЙ$12/207/05(МИР$1227)) <1>--->global ... Всего около 18 тысяч пар слов
- 36. Экспериментальная система МП •Словарный метод третьего уровня •Первые два: прямой с перебором всех флексий (первый уровень) и с применением морфологического анализа для перехода к леммам (второй уровень) •Третий уровень: семантический анализ, учитывающий ещё и контекст слова
- 37. Примеры переводов Отчет, написанный рукой Распутина. Review was written hand Rasputin. В этой статье Аббас разбирает доклад Распутина. In this article Abbas review report Rasputin. Распутина скомпрометировали государственностью. Rasputin compromised by statehood. Распутин вел скрытный образ жизни. Rasputin lead secretive way of life. У Распутина скрытые доходы. have Rasputin an implicit income.
- 38. Улучшение качества словаря Удаление дубликатов (sort | uc >> output) Добавление синтаксической информации: роли в предложении Добавление СГТ Вычисление предлогов: анализ словосочетаний с предлогами
- 39. Moses: почему статистика не справляется? Статистическая модель – только приближение языковой модели, при том сугубо численное Зависимость от качества корпуса Перевод человека зачастую не прямолинеен и иносказателен, отсюда снижение качества Сложные пары языков: с богатой морфологией Снятие полисемии через лемматизацию – грубое отсечение семантики
- 40. Классика: недостатки Медленная разработка Привязка к одному языку или группе схожих языков (синтаксис, порядок слов) Скрещивание!
- 41. Перевод на русский Сборка по семантическим формулам Анализатор иностранного языка Статистический подход для en->ru
- 42. Открытые задачи Прагматика Анализ текста: связи и свойства объектов, анафорические ссылки Hän meni kauppaan. -> Он (она?) пошёл (ла?) в магазин. Анафорические ссылки на часть текста
- 43. Литература [1] Тузов В. А. Компьютерная семантика русского языка, СПб.: Изд-во С.- Петерб. ун-та, 2004. 400 с. [2] Mona Baker, Routlege Encyclopedia of Translation Studies, 2001, ISBN 0-203- 35979-8 [3] Мельчук И. А. Русский текст в модели «смысл<->текст». М.: Языки русской культуры, 1995. 682 с. [4] http://www.hutchinsweb.me.uk/MTJ-2000.pdf [5] http://www.hutchinsweb.me.uk/IJT-2004.pdf [6] http://www.scientific.ru/trv/2008/013/ostap_bender.html [7] Natural Language Processing, Instructor: Manning, Christopher D., Stanford School of Engineering [8] http://translate.google.com [9] http://www.translate.ru/text_Translation.aspx [10] Кан Д. А., Лебедев И. С.: Линеаризация при синтезе предложений на естественном языке // Политехнический симпозиум «Молодые ученые промышленности Северо-Западного региона»; материалы конференций. СПб.: Изд-во С.-Петерб. политехн. ун-та, 2007. С. 15-16