言語モデルの理論と実装

言語モデルについてまとめた資料。特に深層学習に着目し、言語モデルへの理解を深めていく。

Note

制作中。

1. 言語モデル

言語モデルの概要やそれを用いた文章生成について。

1. 言語モデル
2. 言語モデルを用いた文章生成

2. マルコフモデル

まずはシンプルなモデルで言語モデルを学ぶ。

1. マルコフモデル
2. マルコフモデルを用いた言語モデル
3. マルコフモデルの学習
4. より大きなデータセットの活用

3. 深層学習の導入

深層学習を用いてマルコフモデルを実装し、深層学習の活用方法を学ぶ。

1. 深層学習の活用
2. 教師データの作成
3. 埋め込み層
4. モデル構築
5. パープレキシティ
6. 実践

4. RNN

RNNを用いて文脈全体を考慮した言語モデルを実装する。

1. RNN
2. RNNを用いた言語モデル
3. 教師データの作成
4. BPTT
5. RNNにおけるミニバッチ学習
6. 実践

5. ゲート付きRNN

RNN層にゲートと呼ばれる機構を追加し、より長期的な文脈の情報を保持できるようにする。

1. 勾配消失
2. ゲート
3. GRU
4. LSTM
5. 実践

6. Seq2Seq

あるシーケンスから別のシーケンスへの変換を行うSeq2Seqというモデルを学び、機械翻訳へ応用する。

1. 条件付き言語モデル
2. Seq2Seq
3. 教師データの作成
4. 双方向RNN
5. ビームサーチ
6. 実践

7. Attention

データの全体を見た上で重要な部分に着目するような仕組み。これを用いることでSeq2Seqの性能が向上する。

1. Attention機構
2. Attentionを用いたSeq2Seq
3. 実践
4. Attentionの可視化

8. Transformer