「BERTによる自然言語処理入門: Transformersを使った実践プログラミング」

参考資料

• Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).

• Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.

• cl-tohoku/bert-base-japanese-whole-word-masking

こちらは、「BERTによる自然言語処理入門: Transformersを使った実践プログラミング」、(編) ストックマーク株式会社、(著) 近江 崇宏、金田 健太郎、森長 誠 、江間見 亜利、（オーム社）のサポートページです。

誤植

誤植はこちらのページにまとめられています。誤植を見つけられた方は、issueを立ててご連絡いただければ幸いです。

エラー

コードブロック#6-3, #7-3, #8-3, #9-3で生じるエラーに関してはこちらをご確認ください。現在、GitHubで公開されているノートブックファイルではこの対応が既に反映されています。

コード

それぞれ、以下のリンクからColaboratoryでNotebookを開くことができます。

Chapter 4: https://colab.research.google.com/github/stockmarkteam/bert-book/blob/master/Chapter4.ipynb

Chapter 5: https://colab.research.google.com/github/stockmarkteam/bert-book/blob/master/Chapter5.ipynb

Chapter 6: https://colab.research.google.com/github/stockmarkteam/bert-book/blob/master/Chapter6.ipynb

Chapter 7: https://colab.research.google.com/github/stockmarkteam/bert-book/blob/master/Chapter7.ipynb

Chapter 8: https://colab.research.google.com/github/stockmarkteam/bert-book/blob/master/Chapter8.ipynb

Chapter 9: https://colab.research.google.com/github/stockmarkteam/bert-book/blob/master/Chapter9.ipynb

Chapter 10: https://colab.research.google.com/github/stockmarkteam/bert-book/blob/master/Chapter10.ipynb