TinyGPT 旨在帮助非 AI 领域的开发者轻松理解大语言模型的核心原理
- 完整训练流程: 涵盖从 预训练、SFT 到 DPO
- 低门槛: 无需云端 GPU，同时兼容 Mac M 芯片
- 为学习而生:
- 内置 @teacher AI，引导式教学
- 不追求性能和效果，仅使用经典算法做入门实现
- 有类型注释，懂的都懂 🤷🏻♀️...
每个章节相互独立，可任意开始
也可直接让老师带你，比如：
# 在 Cursor，Claude Code 或任何带 Bash Tool 的环境中：
@teacher 带我预训练
- 预训练: 手搓 10M 的超小模型（比 Qwen3-0.6B 还要小 60 倍）
- SFT (WIP): Qwen3-0.6B 版加法器
- DPO (WIP): 反向安全对齐，Qwen3-0.6B 越狱破限
没看以下资料之前我也是门外汉一枚，成功不一定能复制，但学习一定可以！
AI 学习交流社群 |
我的其它项目 |
📕 小红书账号 - 持续分享 AI 原创 |
|