有关增量预训练问题

[Zombiessss]

请问如果需要再基座模型（如llama 7b plus）上进行增量预训练（领域语料），需要掺杂一些通用语料吗，比如一个7:3这样的比例；还是说只用领域语料即可，模型不会灾难性遗忘之前的预训练语料知识

[ymcui]

不好说，你可以先不加通用语料试试。
另外，领域语料如果不大的话要注意不要迭代太多遍，以免出现灾难性遗忘问题。

[Zombiessss]

我们实验发现，llama-plus虽然是续写类，但是回答的效果比不上增量预训练后的（即便是通用问题），这是可以预见的吗，我总觉得这里有gap

[ymcui]

基座模型的主要作用是吸收大规模语料中的知识。用“指令”的方式去评估不一定恰当。建议更多关注你们要解决的具体问题上的效果。

[Zombiessss]

合理，感谢鸣哥解答

[Zombiessss]

不好说，你可以先不加通用语料试试。 另外，领域语料如果不大的话要注意不要迭代太多遍，以免出现灾难性遗忘问题。

我也觉得是这样先跑一两个epoch试试，你们预训练的时候语料跑了几个epoch呀

[ymcui]

论文里有写，1轮。

[Zombiessss]

收到

[zgctmac]

请问如果需要再基座模型（如llama 7b plus）上进行增量预训练（领域语料），需要掺杂一些通用语料吗，比如一个7:3这样的比例；还是说只用领域语料即可，模型不会灾难性遗忘之前的预训练语料知识

麻烦问下，你们的预训练loss能降到多少啊，我这边从4.x降到3.2就不动了，囧

[adeepak7]

@zgctmac In this case, you are monitoring the training loss, correct? How can we ensure that the model does not overfit?

Or I mean, while in pre-training phase (Next Sentence Prediction or MLM), is it a good idea to monitor the validation loss?