产品简介
LLMs-from-scratch 这是一个配套书籍《Build a Large Language Model (From Scratch)》的官方代码库。它提供了一套从零开始、手写代码来实现类ChatGPT大语言模型的完整教程与代码，帮助开发者深入理解LLM的内部工作原理，涵盖从数据预处理到模型预训练、再到针对分类和指令跟随的微调全过程。
核心功能
- 从零用PyTorch实现GPT式模型架构
- 包含文本数据处理与词元化代码
- 提供完整的模型预训练流程
- 演示文本分类与指令跟随的微调方法
- 附带PyTorch入门与LoRA参数高效微调教程
快速开始
- 克隆代码仓库：`git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git`
- 参考目录中的书籍章节与对应代码文件夹（如ch04）
- 运行每章的Jupyter Notebook（.ipynb）或Python脚本（.py）文件
界面预览
与其他方案对比
| 对比项 | LLMs-from-scratch | 同类方案 |
|---|---|---|
| 学习方式 | 提供可运行的代码实现，强调通过亲手编写每一行代码来理解原理 | 通常提供调用现有库或API的示例，侧重于应用而非底层实现 |
| 内容完整性 | 覆盖从文本处理、注意力机制、模型架构、预训练到多种微调的全链路 | 可能只专注于某个单一环节，如仅讲解架构或仅展示微调 |
适合谁用
- 希望深入理解大语言模型（LLM）内部原理的AI开发者与研究者
- 正在学习Transformer架构和GPT模型的学生或工程师
- 想通过动手实践来掌握从预训练到微调完整流程的学习者
下载与版本
当前最新版本为 main，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/rasbt/LLMs-from-scratch