[분석] DeepTitle : 한국어 기사 자동 요약
7 likes14,644 views
** DeepTitle : 한국어 기사 자동 요약 ** 일일이 읽기에는 하루에도 너무 많은 정보들이 쏟아져나온다. 자동으로 요약해준다면 훨씬 효율 좋게 습득할 수 있지 않을까? 기사에 관한 빅데이터 수집과 전처리, 그리고 딥러닝 훈련을 위해, RNN을 기반하고 있는 Seq2Seq를 사용한 한국어 기사 자동 요약 프로젝트. 7기 일반 손범호 7기 일반 정지원 ** 국내 최초 대학생 빅데이터 연합동아리 BOAZ ** 블로그: http://blog.naver.com/boazbigdata 페이스북: https://www.facebook.com/BOAZbigdata
![3. 실험 방법
데이터 수집
2016년 1월 ~ 7월까지 네이버 사회면 기사를 수집. 총 38만 개
오늘(1일) 낮 1시 반쯤 경기도 파주시 문산읍의 15층짜리 아파
트 7층에서 불이 났습니다. 아파트 현관에서 난 불로 57살 방
모 씨 등 2명이 연기를 마셔 병원으로 옮겨졌고, 현관 일부와 집
기 등이 타 소방서 추산 4백만 원의 재산피해가 났습니다. 경찰
과 소방당국은 쓰레기봉투에 있던 담뱃재에서 불이 옮겨붙은 것
으로 보고 정확한 원인을 조사하고 있습니다. 최민기
[choimk@ytn.co.kr]▶ "이사 가도 쓰레기봉투 버리지 마세요"▶
수술 뒤 계속 통증…"3년 전 수술 바늘이 몸 안에"[저작권자(c)
YTN & YTN PLUS. 무단 전재-재배포 금지]
아파트에서 담뱃재 추정 불...2명 부상
제목
본문](https://image.slidesharecdn.com/5-170903175414/85/DeepTitle-12-320.jpg)
![ 특수문자 제거
본문 길이 조정
Seq2Seq의 max length = 120
~3문장
3. 실험 방법
기초 데이터 가공
오늘(1일) 낮 1시 반쯤 경기도 파주시
문산읍의 15층짜리 아파트 7층에서
불이 났습니다. 아파트 현관에서 난
불로 57살 방 모 씨 등 2명이 연기를
마셔 병원으로 옮겨졌고, 현관 일부와
집기 등이 타 소방서 추산 4백만 원의
재산피해가 났습니다. 경찰과 소방당
국은 쓰레기봉투에 있던 담뱃재에서
불이 옮겨붙은 것으로 보고 정확한 원
인을 조사하고 있습니다. 최민기
[choimk@ytn.co.kr]▶ "이사 가도 쓰
레기봉투 버리지 마세요"▶ 수술 뒤 계
속 통증…"3년 전 수술 바늘이 몸 안에
"[저작권자(c) YTN & YTN PLUS. 무단
전재-재배포 금지]
본문
오늘1일 낮 1시 반쯤 경기도 파주시
문산읍의 15층짜리 아파트 7층에서
불이 났습니다. 아파트 현관에서 난
불로 57살 방 모 씨 등 2명이 연기를
마셔 병원으로 옮겨졌고, 현관 일부와
집기 등이 타 소방서 추산 4백만 원의
재산피해가 났습니다. 경찰과 소방당
국은 쓰레기봉투에 있던 담뱃재에서
불이 옮겨붙은 것으로 보고 정확한 원
인을 조사하고 있습니다.](https://image.slidesharecdn.com/5-170903175414/85/DeepTitle-13-320.jpg)
![4. 결과
DeepTitle
예측 제목 실제 제목 실제 기사 본문
호남 농협 중앙회
장 피의자 파견
‘구제역, 예방
이 최 우선＇
( 포항 = 뉴스 1 ) 최창호 기자 = 경북 포항시 방역 공무원
들 이 전북 김제 에서 발생 하다 구제역 이 ' 관심 ' 에서 '
주의 ' 로 격상 되다 14 일 남구 연일읍 자명 리 최종 태
( 54 ) 씨 한우 농장 에서 구제역 백신 접종 및 소독 작업
을 하다 있다 .
광양 저수지 서 돈
만 40 명 숨지다
채 발견
광양 저수지 에서
승용차 안 50대다
남 사체 발견
전남 광양 경찰서 는 오늘 오전 10 시 쯤 광양시 광양읍
의 하다 저수지 에 빠지다 코란도 승용차 를 인양 하다 .
차 운전 석 과 조 수석 사이 에서 소유 주인 56 살 이모
씨 가 숨지다 채 발견 돼다 . 경찰 은 이씨 의 연락 두절
사실 을 신고 받다
여성 나체 사진 유
포 한 셀카 면 처
벌 못 해
워터파크 몰카 범
징역형 … “ 공
공장소 신뢰 무너
뜨다＂
[ 앵커 ] 유명 워터파크 와 수영장 여자 샤워실 에서 여
성 들 의 신체 를 몰래 찍다 유포 한 이른바 ' 워터파크
몰카 ' 사건 의 피의자 들 에게 법원 이 중형 을 선고 하
다 . 영리 목적 으로 유포 하고 , 불 특정 다수 에게 피해
를 주다 점 이 반영 돼다 .
Bad case](https://image.slidesharecdn.com/5-170903175414/85/DeepTitle-20-320.jpg)
[분석] DeepTitle : 한국어 기사 자동 요약
- 1. 서울대학교 산업공학과 손범호 인하대학교 산업공학과 정지원 DeepTitle 한국어 기사 자동 요약
- 2. Index 하나, 주제 선정 배경 둘, 선행 연구 셋, 실험 방법 넷, 결과
- 3. 1. 주제선정 배경 빠른 정보 처리를 위한 자동 텍스트 요약 – Text Summarization 한글에 적용
- 4. 1. 주제선정 배경 Dataset 선정 Text Summarization 학습 (text, summary)의 dataset DeepTitle ‘한글 기사 본문에 대해 한글 제목 달기＇
- 5. 2. 선행 연구 기존의 text summarization Extractive Summary Abstractive Summary 최근 정부가 공공기관을 중심으로 블라인드 채용을 도입해 이력서 내 사진부착을 금지시키자 사진가들이 이에 반발하 며 방침을 철회할 것을 촉구했다. 사진가들이 정부가 블라인드 채용을 방침을 철회할 것을 촉구했다. 사진가들, 정부의 무분별한 블라인드 채용 방침 철회를 촉구하다. vs
- 6. 딥러닝이 각광받기 이전에도 text summarization에 관한 연구들은 존 재 Extractive Summary 텍스트 내 단어 빈도수를 바탕으로 가중치를 두어 요약본을 생성 본문 내 많이 나온 단어가 중요한 단어일 것이라는 아이디어에 바탕 2. 선행 연구 기존의 text summarization
- 7. Microsoft Office Word 2003 2. 선행 연구 기존의 text summarization
- 8. Text Summarization with Tensorflow 2. 선행 연구 최근의 text summarization Tensorflow : 기계학습과 딥러닝을 위해 만든 구글의 오픈소스 라이브러리
- 9. 2. 선행 연구 Seq2Seq Encoder : 문장을 input으로 받아 context를 학습 Decoder : context로부터 output 문장을 생성
- 10. 2. 선행 연구 Seq2Seq with Attention Attention – 문장 중 어떤 부분을 중점적으로 볼 것인가?
- 11. 3. 실험 방법 자연어처리(NLP) 기초 데이터 가공 형태소 분석 알고리즘 적용데이터 전처리 자연어 처리(Natural Language Processing) 데이터 수집 Word Embedding Seq2Seq
- 12. 3. 실험 방법 데이터 수집 2016년 1월 ~ 7월까지 네이버 사회면 기사를 수집. 총 38만 개 오늘(1일) 낮 1시 반쯤 경기도 파주시 문산읍의 15층짜리 아파 트 7층에서 불이 났습니다. 아파트 현관에서 난 불로 57살 방 모 씨 등 2명이 연기를 마셔 병원으로 옮겨졌고, 현관 일부와 집 기 등이 타 소방서 추산 4백만 원의 재산피해가 났습니다. 경찰 과 소방당국은 쓰레기봉투에 있던 담뱃재에서 불이 옮겨붙은 것 으로 보고 정확한 원인을 조사하고 있습니다. 최민기 [choimk@ytn.co.kr]▶ "이사 가도 쓰레기봉투 버리지 마세요"▶ 수술 뒤 계속 통증…"3년 전 수술 바늘이 몸 안에"[저작권자(c) YTN & YTN PLUS. 무단 전재-재배포 금지] 아파트에서 담뱃재 추정 불...2명 부상 제목 본문
- 13. 특수문자 제거 본문 길이 조정 Seq2Seq의 max length = 120 ~3문장 3. 실험 방법 기초 데이터 가공 오늘(1일) 낮 1시 반쯤 경기도 파주시 문산읍의 15층짜리 아파트 7층에서 불이 났습니다. 아파트 현관에서 난 불로 57살 방 모 씨 등 2명이 연기를 마셔 병원으로 옮겨졌고, 현관 일부와 집기 등이 타 소방서 추산 4백만 원의 재산피해가 났습니다. 경찰과 소방당 국은 쓰레기봉투에 있던 담뱃재에서 불이 옮겨붙은 것으로 보고 정확한 원 인을 조사하고 있습니다. 최민기 [choimk@ytn.co.kr]▶ "이사 가도 쓰 레기봉투 버리지 마세요"▶ 수술 뒤 계 속 통증…"3년 전 수술 바늘이 몸 안에 "[저작권자(c) YTN & YTN PLUS. 무단 전재-재배포 금지] 본문 오늘1일 낮 1시 반쯤 경기도 파주시 문산읍의 15층짜리 아파트 7층에서 불이 났습니다. 아파트 현관에서 난 불로 57살 방 모 씨 등 2명이 연기를 마셔 병원으로 옮겨졌고, 현관 일부와 집기 등이 타 소방서 추산 4백만 원의 재산피해가 났습니다. 경찰과 소방당 국은 쓰레기봉투에 있던 담뱃재에서 불이 옮겨붙은 것으로 보고 정확한 원 인을 조사하고 있습니다.
- 14. 한글 그대로의 문장은 seq2seq input에 부적합. Why? 단어 개수를 줄일 수 있음 의미가 크게 변화하지 않아야함에 주의 3. 실험 방법 형태소 분석 오늘(1일) 낮 1시 반쯤 경기도 파주시 문산읍의 15층짜리 아파트 7층에서 불이 났습니다. Alice and Bob took the train to visit the zoo. 오늘 ( 1 일 ) 낮 1 시 반 쯤 경기도 파주시 문산읍 의 15 층 짜다 아파트 7 층 에서 불 이 나다 .
- 15. Google Seq2Seq(https://google.github.io/seq2seq/ 3. 실험 방법 Seq2Seq Tensorflow를 기반으로 한 encoder-decoder 오픈소스 프레임워크 다양한 형태의 seq2seq 모델을 라이브러리 형태로 편리하게 사용 가능 Word embedding 포함
- 16. Input data : parallel text format, dictionary 단어와 단어 사이는 공백, 문서와 문서 사이는 엔터로 구분 3. 실험 방법 Google Seq2Seq 한글 input은? 오늘 ( 1 일 ) 낮 1 시 반 쯤 경기도 파주시 문산읍 의 15 층 짜다 아파트 7 층 에서 불 이 나다 . Google Seq2Seq는 한글을 읽지 못함 Korean Romanization
- 17. 3. 실험 방법 Korean Romanization ‘한’ ‘han’ ‘천’ ‘chen’ ＇빙판‘ ‘pingphan’ Krtpy 패키지 - romanize, hangulize 지원 고속도로 빙판 구간 에 미끄러지다 ko.sokto.lo pingphan kwu.kan ey mi.kku.le.ci.ta romanize hangulize
- 18. 3. 실험 방법 Google Seq2Seq Seq2Seq with Attention model Test set decoding : beam search Embedding dimension : 256 Batch size : 32 Encoder, decoder cell : 256 Training step : 40만 데이터 숫자 : 38만개? 3만개 Dictionary < 10만
- 19. 4. 결과 DeepTitle 예측 제목 실제 제목 실제 기사 본문 누리 과정 예산 편 성 진통 예상 ‘정치 공세 – 정 부 책임 론‘ 대 립 평행선 일부 교육청 예산 편성 지자체 도 예산 지원 등 나서다 朴 대통령 , 기자회견 서 교육청 비판 교육청 별다르다 해법 제시 없다 반발 누리 과정 ( 만 3 ~ 5 세 공통 무상 보육 교육 ) 예산 을 정부 와 갈등 을 빚어온 일부 시 ㆍ 도 교육 청 이 기존 입장 을 바꾸다 지원 계획 을 밝히다 위안부 합의 파기 하라 촉구 일본군 위안부 합 의 무효 를 외치 며 【 서울 = 뉴시스 】 김진아 기자 = 한일 일본군 ' 위안 부 ' 합의 무효 와 정의 로운 해결 을 위 하다 전국 행동 회원 들 이 14 일 오후 정부 에게 보내다 요구 서 를 들 다 서울 종로구 외교부 로 행진 하고 있다 . 이 들 은 이 날 기자회견 을 통해 일본 정부 의 범죄 사실 인정 , 번 복 하다 수 없다 명확하다 인사 종합 <인사> 충북 영동 군 ◇ 5 급 전보 ▲ 경제 과장 이영환 ▲ 주민 복지 과장 성 영근 ▲ 충북도 김현구 ▲ 〃 신영철 ◇ 6 급 전보 ▲ 충북도 장철 진 ▲ 충북도 김명식 ▲ 생활 지원 과 태문 걸 ▲ 도시 건축 과 이근 홍 ▲ 학산면 송재희 ( 영 동 = 연합뉴스 ) Good case
- 20. 4. 결과 DeepTitle 예측 제목 실제 제목 실제 기사 본문 호남 농협 중앙회 장 피의자 파견 ‘구제역, 예방 이 최 우선＇ ( 포항 = 뉴스 1 ) 최창호 기자 = 경북 포항시 방역 공무원 들 이 전북 김제 에서 발생 하다 구제역 이 ' 관심 ' 에서 ' 주의 ' 로 격상 되다 14 일 남구 연일읍 자명 리 최종 태 ( 54 ) 씨 한우 농장 에서 구제역 백신 접종 및 소독 작업 을 하다 있다 . 광양 저수지 서 돈 만 40 명 숨지다 채 발견 광양 저수지 에서 승용차 안 50대다 남 사체 발견 전남 광양 경찰서 는 오늘 오전 10 시 쯤 광양시 광양읍 의 하다 저수지 에 빠지다 코란도 승용차 를 인양 하다 . 차 운전 석 과 조 수석 사이 에서 소유 주인 56 살 이모 씨 가 숨지다 채 발견 돼다 . 경찰 은 이씨 의 연락 두절 사실 을 신고 받다 여성 나체 사진 유 포 한 셀카 면 처 벌 못 해 워터파크 몰카 범 징역형 … “ 공 공장소 신뢰 무너 뜨다＂ [ 앵커 ] 유명 워터파크 와 수영장 여자 샤워실 에서 여 성 들 의 신체 를 몰래 찍다 유포 한 이른바 ' 워터파크 몰카 ' 사건 의 피의자 들 에게 법원 이 중형 을 선고 하 다 . 영리 목적 으로 유포 하고 , 불 특정 다수 에게 피해 를 주다 점 이 반영 돼다 . Bad case
- 21. 4. 결과 DeepTitle - 문제점 무엇이 문제인가? 완벽한 문장 구조 누리 과정 예산 편성 진통 예상 호남 농협 중앙회 장 피의자 파견 광양 저수지 서 돈 만 40 명 숨지다 채 발견 Text Generation 얼마나 잘 요약하는가? 문장이 얼마나 말이 되는가? Overfitting
- 22. 4. 결과 DeepTitle - 개선방안 Overfitting Training step 감소? 트레이닝 데이터 개수 증가! 데이터 개수 증가 Dictionary 수가 문제 Character – based model 나는 학교에 갔다
- 23. 감사합니다.