README.md

Chapter 5: 使用未标记数据进行预训练

ch05.ipynb 本章所有代码
previous_chapters.py 在前面章节中的包含 MultiHeadAttention的python代码模块，在这里的未标记数据模型预训练过程中我们会用到它
train.py 一个独立的python脚本文件，包含我们在ch05.ipynb中实现的GPT模型训练部分代码
generate.py 一个独立的python脚本文件，包含我们在ch05.ipynb中实现的GPT模型权重加载和应用代码