다양한 디코딩 방식을 활용해 번역 모델을 직접 만들어 본 후, 해당 모델을 BLEU Score을 이용해 성능을 평가해 본다. 트랜스포머 구조를 활용해 한국어 챗봇을 직접 구현해 보는 프로젝트를 진행한다.
| - | 목차 | ⏲ 360분 |
|---|---|---|
| 12-1 | 들어가며 | 15분 |
| 12-2 | 번역 데이터 준비 | 20분 |
| 12-3 | 번역 모델 만들기 | 40분 |
| 12-4 | 번역 성능 측정하기 (1) BLEU Score | 45분 |
| 12-5 | 번역 성능 측정하기 (2) Beam Search Decoder | 30분 |
| 12-6 | 데이터 부풀리기 | 30분 |
| 12-7 | Project: 멋진 챗봇 만들기 | 180분 |
| 12-8 | 프로젝트 제출 | - |
- Step 1. 데이터 다운로드
- Step 2. 데이터 정제
- Step 3. 데이터 토큰화
- Step 4. Augmentation
- Step 5. 데이터 벡터화
- Step 6. 훈련하기
- Step 7. 성능 측정하기
번호 평가문항 상세기준 1 챗봇 훈련데이터 전처리 과정이 체계적으로 진행되었는가? 챗봇 훈련데이터를 위한 전처리와 augmentation이 적절히 수행되어 3만개 가량의 훈련데이터셋이 구축되었다. 2 transformer 모델을 활용한 챗봇 모델이 과적합을 피해 안정적으로 훈련되었는가? 과적합을 피할 수 있는 하이퍼파라미터 셋이 적절히 제시되었다. 3 챗봇이 사용자의 질문에 그럴듯한 형태로 답하는 사례가 있는가? 주어진 예문을 포함하여 챗봇에 던진 질문에 적절히 답하는 사례가 제출되었다.