Chinese Alpaca 2 7b可以做CLM吗

[promisecc]

您好，请问我可以基于Chinese Alpaca 2 7b模型做CLM再做指令微调吗

[ymcui]

技术上没有问题，只是这样会抹掉原有alpaca-2的对话能力。

[promisecc]

请问为什么Alpaca做完CLM后就失去对话能力了，这是什么原因造成的？ 我想做垂直领域大模型，想先做预训练，然后微调，请问这样的话只能先拿llama模型做CLM然后再做指令微调对吗？

…

------------------ 原始邮件 ------------------ 发件人: "ymcui/Chinese-LLaMA-Alpaca-2" ***@***.***>; 发送时间: 2023年10月25日(星期三) 上午8:12 ***@***.***>; ***@***.******@***.***>; 主题: Re: [ymcui/Chinese-LLaMA-Alpaca-2] Chinese Alpaca 2 7b可以做CLM吗 (Discussion #359) 技术上没有问题，只是这样会抹掉原有alpaca-2的对话能力。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>