-
|
如题， |
Beta Was this translation helpful? Give feedback.
Replies: 1 comment 3 replies
-
|
训练什么参数取决于训练脚本，和“预训练”、“精调”这些词无关。 |
Beta Was this translation helpful? Give feedback.
-
|
感谢回答。我明白提供的代码是LoRA训练，请问发布的Chinese模型(llama2 & alpaca2)也都是LoRA训练后的结果吗？还是全量预训练的结果？ |
Beta Was this translation helpful? Give feedback.
-
|
是。论文里有相关资料。FAQ里也有解答（LINK）。 |
Beta Was this translation helpful? Give feedback.
-
|
好的谢谢 |
Beta Was this translation helpful? Give feedback.
训练什么参数取决于训练脚本，和“预训练”、“精调”这些词无关。
这里说的“预训练”指的是无标注数据训练，“精调”指的是“指令精调”，即使用指令数据进行有监督的训练。
我们提供的代码主要以lora训练为主。如果你想全量预训练就自己改改代码吧。