README.zh-CN.md

English | 中文

动手 LoRa: 用 LoRa 实践微调大模型

深度学习是一门实验科学。若不熟能，如何生巧？

引言

: "LoRA, which freezes the pretrained model weights and injects trainable rank decomposition matrices into each layer of the Transformer architecture, greatly reducing the number of trainable parameters for downstream tasks."

【翻译】: LoRA, 冻结了预训练模型的权重, 并在每一层 Transformer 架构中注入可训练的低秩分解矩阵, 极大地减少了下游任务的可训练参数量。

可训练的 A & B (仅)

示例

大语言模型	参数量	任务	LoRa/QLoRa	代码
Gemma-IT	2B	文生文	QLoRa	链接
Qwen 2	1.5B	命名实体识别	QLoRa	链接
Llama 3	8B	跨语言适应	LoRa	链接

[!提示] 尽管 LoRa 是一项很优雅的技术, 用它微调大模型仍然需要大量工程上的努力。最优性能需要全面的优化。在我们的仓库中，我们提供了基础示例，可视其为起点。达到优异仍有一定的距离。我们鼓励您发挥您的天赋和创造力，实现更出色的结果。