Vs^3 net for machine reading comprehension question answering
1 like540 views
기계 독해(Machine reading comprehension)를 이용한 질의 응답(Question answering)은 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. 기계 독해 중 SQuAD dataset은 span 단위의 답을 문맥 내에서 찾는 질의응답 태스크이다. 본 발표에서는 SQuAD 2.0에 도전하기 위하여 연구한 VS^3-NET에 대하여 설명한다. VS^3-NET은 simple recurrent unit (SRU)와 sentence- 및 self-matching network 모델을 기반으로 하고 있으며, 다양한 질문 유형에 대하여 모델링을 수행하기 위해 variational inference network를 함께 적용한다.
![𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 22
S2-NET: Inputs
단어 표현 (word embedding)
• NNLM: 한국/nnp [0.1, 0.02, 0.7, 0.004, 0.1, …]
• GloVe: Naver [0.6, 0.245, 0.037, 0.412, 0.14, …]
음절 표현 (character embedding)
• 한, 국 [[0.05, 0.1 …], …, [0.4, 0.7, 0.2…]]
• N, a, v, e, r [[0.3, 0.2 …], …, [0.2, 0.6…]]
자질 (features)](https://image.slidesharecdn.com/vs3-netformachinereadingcomprehensionquestionanswering-181119055705/85/Vs-3-net-for-machine-reading-comprehension-question-answering-22-320.jpg)
![𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 23
S2-NET: Features
Feature Layer
• 𝑝 = [𝑓𝑒𝑚𝑏 𝑝𝑡 ; 𝑓𝑐_𝑒𝑚𝑏 𝑝𝑡 ; 𝑓𝑒𝑥𝑎𝑐𝑡_𝑚𝑎𝑡𝑐ℎ 𝑝𝑡 ; 𝑓𝑡𝑓 𝑝𝑡 ; 𝑓𝑎𝑙𝑖𝑔𝑛(𝑝𝑡ሻ]
• 𝑞 = [𝑓𝑒𝑚𝑏 𝑞𝑡 ; 𝑓𝑐_𝑒𝑚𝑏 𝑞𝑡 ; 𝑓𝑒𝑥𝑎𝑐𝑡_𝑚𝑎𝑡𝑐ℎ 𝑞𝑡 ; 𝑓𝑡𝑓 𝑞𝑡 ; 𝑓𝑎𝑙𝑖𝑔𝑛(𝑞𝑡ሻ]
• 정확한 매치 (exact match)
𝑓𝑒𝑥𝑎𝑐𝑡_𝑚𝑎𝑡𝑐ℎ 𝑝𝑡 = 𝕝(𝑝𝑡 ∈ 𝑞ሻ
• 토큰 자질 (token feature)
𝑓𝑡𝑓 𝑝𝑡 = 𝑇𝐹(𝑝𝑡ሻ
• 정렬된 질문 표현 (aligned question embedding)
• POS and NER tags
𝑓𝑎𝑙𝑖𝑔𝑛 𝑝𝑡 = σ 𝑗 𝛼 𝑡,𝑗 𝐸(𝑞 𝑗ሻ 𝛼 𝑡,𝑗 =
exp 𝛼 𝐸 𝑝 𝑡 ⋅𝛼 𝐸 𝑞 𝑗
σ 𝑗′ exp 𝛼 𝐸 𝑝 𝑡 ⋅𝛼 𝐸 𝑞 𝑗′](https://image.slidesharecdn.com/vs3-netformachinereadingcomprehensionquestionanswering-181119055705/85/Vs-3-net-for-machine-reading-comprehension-question-answering-23-320.jpg)
![𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 27
S2-NET: Output (answer span)
이날 지수는 고등학교때부터 연극
을 해오다 지난해 MBC 드라마 [앵
그리맘]으로 데뷔했다고 밝혔다.
Q: 지수 데뷔작이 뭔가요?
A: 앵그리맘
output: 7,7
Pointer Networks](https://image.slidesharecdn.com/vs3-netformachinereadingcomprehensionquestionanswering-181119055705/85/Vs-3-net-for-machine-reading-comprehension-question-answering-27-320.jpg)
![𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 34
S3-NET: Question-aware Sentence Representation
Q-S Matching Layer
𝑣𝑡
𝑆
= 𝐵𝑖𝑆𝑅𝑈(𝑣𝑡−1
𝑆
, 𝑢 𝑡
𝑆
; 𝑐𝑡
∗ሻ
𝑔𝑡 = 𝑠𝑖𝑔𝑚𝑜𝑖𝑑(𝑊𝑔
𝑆
𝑢 𝑡
𝑆
; 𝑐𝑡 ሻ
𝑢 𝑡
𝑆
; 𝑐𝑡
∗ = 𝑔𝑡⨀[𝑢 𝑡
𝑆
; 𝑐𝑡]
𝛼𝑖
𝑡
= exp 𝑢 𝑡
𝑆
𝑊𝑎
𝑆 𝑢𝑖
𝑄
/ σ 𝑗=1
𝑀
exp(𝑢 𝑡
𝑆
𝑊𝑎
𝑆 𝑢𝑗
𝑄
ሻ
𝑐𝑡 = σ𝑖=1
𝑀
𝑎𝑖
𝑡
𝑢𝑖
𝑄](https://image.slidesharecdn.com/vs3-netformachinereadingcomprehensionquestionanswering-181119055705/85/Vs-3-net-for-machine-reading-comprehension-question-answering-34-320.jpg)
![𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 35
S3-NET: Sentence-aware Passage Representation
S-P Matching Layer
𝑣 𝑛
𝑃 = 𝐵𝑖𝑆𝑅𝑈(𝑣 𝑛−1
𝑃
, 𝑢 𝑛
𝑃; 𝑐 𝑛
∗ሻ
𝑔 𝑛 = 𝑠𝑖𝑔𝑚𝑜𝑖𝑑(𝑊𝑔
𝑃
𝑢 𝑛
𝑃
; 𝑐 𝑛 ሻ
𝑢 𝑛
𝑃
; 𝑐 𝑛
∗
= 𝑔 𝑛⨀[𝑢 𝑛
𝑃
; 𝑐 𝑛]
𝛼𝑖
𝑛
=
exp 𝑢 𝑛
𝑃 𝑊𝑎
𝑃 𝑣𝑖
𝑆
σ 𝑗=1
𝑆
exp 𝑢 𝑛
𝑃 𝑊𝑎
𝑃 𝑣 𝑗
𝑆
𝑐 𝑛 = σ𝑖=1
𝑆
𝑎𝑖
𝑛
𝑢𝑖
𝑃](https://image.slidesharecdn.com/vs3-netformachinereadingcomprehensionquestionanswering-181119055705/85/Vs-3-net-for-machine-reading-comprehension-question-answering-35-320.jpg)
Vs^3 net for machine reading comprehension question answering
- 1. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. VS3-NET for MRQA Kangwon Natl. University Department of Computer Science Cheoneum Park
- 2. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 2 연구 배경 기계 독해 (Machine Reading Comprehension) • 기계가 주어진 문맥을 이해 《훈민정음》(訓民正音)은 조선조 제 4대 세종대왕이 지 은 책의 제목, 그리고 그 책에서 해설하고 있는 뒷날 한글 로 불리게 된 한국어의 표기 문자 체계를 말한다. 세종대 왕이 궁중에 정음청(正音廳)을 두고 성삼문.신숙주.최항. 정인지.박팽년 등 집현전학자들에게 명하여 25년(1443년) 에 완성, 28년(1446)에 반포한 국문 글자의 명칭이다. 이 것은 ‘백성을 가르치는 바른 소리’라는 뜻으로, 독창적이 며, 쓰기 편한 24자(당시 28자)의 소리글자이다. https://ko.wikipedia.org/wiki/훈민정음
- 3. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 3 연구 배경 질의 응답 (Question Answering) • 주어진 질문에 알맞은 답을 하는 것 Q: 훈민정음이 의미하는 바는 무엇인가? 질문 유형 및 의도 파악 비정형 정답후보 색인 형태소/ 개체명 인식 의존 구문 분석 어휘 의미 분석 의미 역 결정 상호 참조 해결 지식기반 정답후보 색인인명정보 관계 트리플 어휘 의미… 자연어 이해
- 4. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 4 연구 배경 기계 독해 + 질의 응답 (MRQA) • 기계가 주어진 질문과 문맥을 이해하고 질문에 알맞은 답을 하 는 것 《훈민정음》(訓民正音)은 조선조 제 4대 세종대왕이 지 은 책의 제목, 그리고 그 책에서 해설하고 있는 뒷날 한글 로 불리게 된 한국어의 표기 문자 체계를 말한다. 세종대 왕이 궁중에 정음청(正音廳)을 두고 성삼문.신숙주.최항. 정인지.박팽년 등 집현전학자들에게 명하여 25년(1443년) 에 완성, 28년(1446)에 반포한 국문 글자의 명칭이다. 이 것은 ‘백성을 가르치는 바른 소리’라는 뜻으로, 독창적이 며, 쓰기 편한 24자(당시 28자)의 소리글자이다. https://ko.wikipedia.org/wiki/훈민정음 Q: 훈민정음이 의미하는 바는 무엇인가?
- 5. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 5 다양한 기계 독해 태스크
- 6. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 6 연구 배경 다양한 기계 독해 질의응답 태스크 ACL 2018: The NarrativeQA Reading Comprehension Challenge
- 7. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 7 SQuAD SQuAD
- 8. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 8 SQuAD version 1.0
- 9. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 9 Know what you don’t know SQuAD 2.0 • 50,000 new unanswerable questions written adversarially by crowdworkers • answer questions when possible • determine when no answer
- 10. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 10 연구된 모델들
- 11. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 11 관련 연구 기계독해 질의응답을 위한 딥 러닝 모델 • Match LSTM • BiDAF • R-NET • DrQA • Smarnet • SAN • QA-NET • 기타 모델들 … (너무 많네요.. 약 40여가지 모델)
- 12. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 12 관련 연구 MRQA 대표 모델 DrQA, Chen et al., 2017BiDAF, Seo et al., 2017 R-Net, Microsoft Research Asia, 2017 1. BiDAF + Self-matching, Clark et al., 2017 2. ELMo, Peters et al., 2018 QANet, Google, 2018
- 13. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 13 MRQA를 위한 공통 모듈 Word representation • GloVe (base) • Char CNN Contextual embedding • CoVe • ELMo Attention mechanism • Match LSTM • Co-attention • Self-attention
- 14. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 14 1. 모델 2. 결과
- 15. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 15 파이토치
- 16. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 16 3가지 모델 연구
- 17. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 17 1. S2-NET 2. S3-NET 3. VS3-NET
- 18. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 18 1. S2-NET 2. S3-NET 3. VS3-NET SRU-based Self-matching Networks
- 19. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 19 정답 질문 문단 Input Output S2-NET
- 20. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 20 S2-NET Hidden Layer (Encoding) • 질문과 문단에 자질 사용 Self-Matching Layer • 자기 자신에 대한 attention weight 계산 • 상호참조해결 효과 Modeling Layer • 추상화 시도 Output Layer • Pointer Networks
- 21. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 21 S2-NET: RNN type (SRU) Simple Recurrent Unit (SRU) • Gate 입력에서 이전 hidden state 를 지운 recurrent unit 모델 • 출력 hidden state에 highway network 적용 • GRU보다 약 5~7배 빠른 속도 𝑥 ℎ 𝑓 𝐶 𝑟 𝑥𝑡 = 𝑊𝑥𝑡 ሻ𝑖 𝑡 = (1 − 𝑓𝑡 ൯𝑓𝑡 = 𝜎(𝑊𝑓 𝑥𝑡 + 𝑏𝑡 ሻ𝑟𝑡 = 𝜎(𝑊𝑟 𝑥𝑡 + 𝑏 𝑟 𝑐𝑡 = 𝑓𝑡 ⊙ 𝑐𝑡−1 + 𝑖 𝑡 ⊙ 𝑥𝑡 ℎ 𝑡 = 𝑟𝑡 ⊙ 𝑔 𝑐𝑡 + (1 − 𝑟𝑡ሻ ⊙ 𝑥𝑡 FFNN FFNN Highway Network LSTM GRU GRU Gating. Chung, Junyoung, et al. “Empirical evaluation of gated recurrent neural networks on sequence modeling.”
- 22. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 22 S2-NET: Inputs 단어 표현 (word embedding) • NNLM: 한국/nnp [0.1, 0.02, 0.7, 0.004, 0.1, …] • GloVe: Naver [0.6, 0.245, 0.037, 0.412, 0.14, …] 음절 표현 (character embedding) • 한, 국 [[0.05, 0.1 …], …, [0.4, 0.7, 0.2…]] • N, a, v, e, r [[0.3, 0.2 …], …, [0.2, 0.6…]] 자질 (features)
- 23. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 23 S2-NET: Features Feature Layer • 𝑝 = [𝑓𝑒𝑚𝑏 𝑝𝑡 ; 𝑓𝑐_𝑒𝑚𝑏 𝑝𝑡 ; 𝑓𝑒𝑥𝑎𝑐𝑡_𝑚𝑎𝑡𝑐ℎ 𝑝𝑡 ; 𝑓𝑡𝑓 𝑝𝑡 ; 𝑓𝑎𝑙𝑖𝑔𝑛(𝑝𝑡ሻ] • 𝑞 = [𝑓𝑒𝑚𝑏 𝑞𝑡 ; 𝑓𝑐_𝑒𝑚𝑏 𝑞𝑡 ; 𝑓𝑒𝑥𝑎𝑐𝑡_𝑚𝑎𝑡𝑐ℎ 𝑞𝑡 ; 𝑓𝑡𝑓 𝑞𝑡 ; 𝑓𝑎𝑙𝑖𝑔𝑛(𝑞𝑡ሻ] • 정확한 매치 (exact match) 𝑓𝑒𝑥𝑎𝑐𝑡_𝑚𝑎𝑡𝑐ℎ 𝑝𝑡 = 𝕝(𝑝𝑡 ∈ 𝑞ሻ • 토큰 자질 (token feature) 𝑓𝑡𝑓 𝑝𝑡 = 𝑇𝐹(𝑝𝑡ሻ • 정렬된 질문 표현 (aligned question embedding) • POS and NER tags 𝑓𝑎𝑙𝑖𝑔𝑛 𝑝𝑡 = σ 𝑗 𝛼 𝑡,𝑗 𝐸(𝑞 𝑗ሻ 𝛼 𝑡,𝑗 = exp 𝛼 𝐸 𝑝 𝑡 ⋅𝛼 𝐸 𝑞 𝑗 σ 𝑗′ exp 𝛼 𝐸 𝑝 𝑡 ⋅𝛼 𝐸 𝑞 𝑗′
- 24. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 24 S2-NET: Hidden Layer Question Hidden Layer Question vector ( output layer) Passage Hidden Layer 𝒒 = σ 𝑗 𝑏𝑗 𝑞 𝑗 𝑏𝑗 = exp 𝑤 ∙ 𝑞 𝑗 σ 𝑗′ exp(𝑤 ∙ 𝑞 𝑗′ሻ 𝑢 𝑛 𝑃 = 𝐵𝑖𝑆𝑅𝑈 𝑃(𝑢 𝑛−1 𝑃 , 𝑝 𝑛ሻ ൯𝑢 𝑚 𝑄 = 𝐵𝑖𝑆𝑅𝑈 𝑄(𝑢 𝑚−1 𝑄 , 𝑞 𝑚
- 25. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 25 S2-NET: Self-Attention 어디에 집중할 것인가? Attention … …src target: src 𝛼𝑖 𝑛 = exp 𝑢 𝑛 𝑃 𝑊ℎ 𝑃 𝑢 𝑖 𝑃 σ 𝑗=1 𝑁 exp 𝑢 𝑛 𝑃 𝑊ℎ 𝑃 𝑢 𝑗 𝑃 𝑐 𝑛 = σ𝑖=1 𝑁 𝑎𝑖 𝑛 𝑢𝑖 𝑃
- 26. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 26 Modeling Layer S2-NET: Modeling Layer 𝑢 𝑛 𝑃 ; 𝑐 𝑛 ∗ = 𝑔 𝑛 ⊙ 𝑢 𝑛 𝑃 ; 𝑐 𝑛 ሻℎ 𝑛 𝑃 = 𝐵𝑖𝑆𝑅𝑈(ℎ 𝑛−1 𝑃 , 𝑢 𝑛 𝑃; 𝑐 𝑛 ∗ ൯𝑔 𝑛 = 𝑠𝑖𝑔𝑚𝑜𝑖𝑑(𝑊𝑔 𝑃 𝑢 𝑛 𝑃; 𝑐 𝑛
- 27. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 27 S2-NET: Output (answer span) 이날 지수는 고등학교때부터 연극 을 해오다 지난해 MBC 드라마 [앵 그리맘]으로 데뷔했다고 밝혔다. Q: 지수 데뷔작이 뭔가요? A: 앵그리맘 output: 7,7 Pointer Networks
- 28. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 28 SRU-based Sentence and Self-matching Networks 1. S2-NET 2. S3-NET 3. VS3-NET
- 29. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 29 정답 질문 문단 Input Output 문장 정보 S3-NET
- 30. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 30 질문을 이해하고 문장을 훑어보고 문단에서 정답을 찾는다 S3-NET
- 31. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 31 S3-NET
- 32. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 32 추가된 3가지 모듈
- 33. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 33 S3-NET: Sentence Encoder Sentence embedding Convolutional Neural Networks for Sentence Classification _Yoon Kim
- 34. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 34 S3-NET: Question-aware Sentence Representation Q-S Matching Layer 𝑣𝑡 𝑆 = 𝐵𝑖𝑆𝑅𝑈(𝑣𝑡−1 𝑆 , 𝑢 𝑡 𝑆 ; 𝑐𝑡 ∗ሻ 𝑔𝑡 = 𝑠𝑖𝑔𝑚𝑜𝑖𝑑(𝑊𝑔 𝑆 𝑢 𝑡 𝑆 ; 𝑐𝑡 ሻ 𝑢 𝑡 𝑆 ; 𝑐𝑡 ∗ = 𝑔𝑡⨀[𝑢 𝑡 𝑆 ; 𝑐𝑡] 𝛼𝑖 𝑡 = exp 𝑢 𝑡 𝑆 𝑊𝑎 𝑆 𝑢𝑖 𝑄 / σ 𝑗=1 𝑀 exp(𝑢 𝑡 𝑆 𝑊𝑎 𝑆 𝑢𝑗 𝑄 ሻ 𝑐𝑡 = σ𝑖=1 𝑀 𝑎𝑖 𝑡 𝑢𝑖 𝑄
- 35. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 35 S3-NET: Sentence-aware Passage Representation S-P Matching Layer 𝑣 𝑛 𝑃 = 𝐵𝑖𝑆𝑅𝑈(𝑣 𝑛−1 𝑃 , 𝑢 𝑛 𝑃; 𝑐 𝑛 ∗ሻ 𝑔 𝑛 = 𝑠𝑖𝑔𝑚𝑜𝑖𝑑(𝑊𝑔 𝑃 𝑢 𝑛 𝑃 ; 𝑐 𝑛 ሻ 𝑢 𝑛 𝑃 ; 𝑐 𝑛 ∗ = 𝑔 𝑛⨀[𝑢 𝑛 𝑃 ; 𝑐 𝑛] 𝛼𝑖 𝑛 = exp 𝑢 𝑛 𝑃 𝑊𝑎 𝑃 𝑣𝑖 𝑆 σ 𝑗=1 𝑆 exp 𝑢 𝑛 𝑃 𝑊𝑎 𝑃 𝑣 𝑗 𝑆 𝑐 𝑛 = σ𝑖=1 𝑆 𝑎𝑖 𝑛 𝑢𝑖 𝑃
- 36. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 36 S3-NET: Hierarchical Output Sentence-level Attention Word-level Attention
- 37. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 37 1. S2-NET 2. S3-NET 3. VS3-NET Neural Variational Inference for Machine Reading Comprehension
- 38. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 38 Variational Inference for Questions 질문 유형 • 누구: “훈민정음을 만든 사람이 누구야?” 세종대왕 • 무엇: “김세정이 처음으로 연기한 드라마는 뭐지?” 학교 2017 • 시간: “맹자는 언제적 사람이야” 전국시대 • 이유: “서울공항의 파주 이전을 왜 보류했어” 소음 공해 피해 때문에 • 장소: “왕은 사랑한다 제작발표회 어디서 했어?” 마포구 상암동 MBC 라운지 • 어떻게: “은은 어떻게 만들어져?” 금의 경우와 마찬가지로 혼홍법, 시안화법, 건식법이 있는데, 혼홍법은 현재 거의 사용되지 않는다.
- 39. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 39 Variational Inference Introduction to Variational Autoencoders 오토인코더의 모든 것, 이활석
- 40. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 40 VS3-NET
- 41. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 41 VS3-NET: Variational Inference Layer Variation inference layer Loss function
- 42. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 42 VS3-NET: Output Layer for VS3-NET Sentence-level Attention Word-level Attention
- 43. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 43 1. 모델 2. 결과
- 44. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 44 SQuAD 2.0 Leaderboard
- 45. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 45 한국어 MRC dataset (MindsMRC Dev set) Model Layer stack Modeling layer stack RNN type Features Single Ensemble EM F1 EM F1 DrQA (baseline) 3 1 SRU DrQA features (no character) 64.2 77.0 - - BiDAF SRU DrQA features 66.0 78.9 - - BiDAF+SM LSTM DrQA features 66.3 78.4 - - S2-Net SRU Use our features 68.3 80.9 - - DrQA+BiD AF 5 2 SRU Use our features 67.4 79.9 - - S2-Net SRU 69.0 81.2 70.1 81.9 S3-Net SRU 70.1 81.8 71.0 82.3 http://www.aihub.or.kr/
- 46. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 46 향후 연구 Data augmentation • Translation • Question generation Features • Coreference resolution Answer Verifier
- 47. 𝐼𝑛𝑡𝑒𝑙𝑙𝑖𝑔𝑒𝑛𝑡 𝑠𝑜𝑓𝑡𝑤𝑎𝑟𝑒 𝐿𝑎𝑏. 47 감사합니다 박천음, 이창기 강원대학교 Email: parkce3@gmail.com