공부해야 할 것

00. PDF 파싱하기

• Python: pdfminer
  • Python 3+ 이용시 pdfminer.six 이용

01. Text Coherence (텍스트 일관성)

논문

• Text Coherence Analysis Based on Deep Neural Network
  • 세 문장 쌍의 일관성을 CNN으로 판단하는 방법을 제안
• A Model of Coherence Based on Distributed Sentence Representation
  • Distributed Sentence Representation(=Doc2Vec)을 활용하여 문장 쌍의 일관성을 판단하는 방법 제안

응용

• 빈칸 채우기 유형
  • 빈칸에 다섯 개 선택지를 각각 넣어, 일관성이 최대가 되는 것이 정답

02. 문단, 문장 순서 찾기

논문

• Sentence Ordering and Coherence Modeling using Recurrent Neural Networks
  • 문장 간의 순서와 일관성을 이용하여 문장을 모델링하는 방법 제안. 문장 순서를 학습할 때 기본이 되는 모델로 사용 가능하다고 논문에서 주장.

응용

• 문단 순서 찾기
  • 모든 경우의 수에 대해 미텍스트 일관성을 파악한 뒤, 일관성이 최대가 되는 것이 정답

03. 요약

논문

• A Neural Attention Model for Abstractive Sentence Summarization
  • Attention Model을 이용하여 문장을 하나의 단어로 요약하는 모델

응용

• 주제어 찾기