base-llm：实践指南

实际评估base-llm时，我先确认它解决的具体问题：从 NLP 到 LLM 的算法全栈教程，在线阅读地址：datawhalechina.github.io。一旦进入日常自动化环节，输入边界、依赖和失败处理如果不清楚就很难稳定复用会直接影响交付，这也是我最关心的风险。我的评估方法是用一项范围明确的真实任务完成最小试跑，然后检查配置时间、输出质量、异常信息和维护痕迹是否与文档一致。我的判断是，它更适合愿意先做小范围验证并复查原始文档的团队；若眼下没有这类需求，先保留观察即可。

Base LLM | 从 NLP 到 LLM 的算法全栈教程

大模型前世今生

Base LLM 都是你 need

注意：

• 关于 Pull Request：本项目目前主要接受 Extra-chapter 的共建，提交 PR 前面请参见 Extra-chapter/README.md。
• 问题反馈：如果您对主教程有任何建议或发现任何问题，欢迎通过 Issue 进行反馈。

项目简介

本项目是一个从传统自然语言处理（NLP）到大语言模型（LLM）的全栈式学习教程，旨在为开发者提供一条从理论入门到工程实战的清晰路径。

在 LLM 爆发的今天，许多开发者直接上手调用 API 或微调大模型，却往往忽视了底层的自然语言处理（NLP）基础。本项目主张 “Base LLM is all you need”，通过系统性地回顾 NLP 发展历程中的核心技术——从早期的词向量、循环神经网络（RNN），到变革性的 Transformer 架构，再到如今的 BERT、GPT 及 Llama 系列大模型——帮助读者构建坚实的技术护城河。

核心内容覆盖：

1. NLP 理论基石：深入浅出地讲解分词、词向量（Word2Vec）、RNN/LSTM 等经典算法。
2. Transformer 架构：剖析 Attention 机制，详解 Encoder-Decoder 架构，奠定大模型认知基础。
3. 预训练语言模型：全面覆盖 BERT、GPT、T5 等里程碑式模型的设计与应用。
4. 大模型进阶实战：从零手搓 Llama2 模型，掌握参数高效微调（PEFT/LoRA）、RLHF 等前沿技术。
5. 工程化落地：涵盖模型量化、推理加速、Docker 容器化及服务部署的全流程实战。
6. 大模型安全与多模态：探索模型安全挑战、论理问题，以及图文多模态模型的前沿技术。

项目意义

随着人工智能技术的飞速发展，掌握大语言模型已成为 AI 工程师的必备技能。然而，市面上的教程往往存在断层。要么过于偏重学术理论，晦涩难懂；要么仅停留在 API 调用的应用层，缺乏底层原理的支撑。

本项目致力于填补这一空白，通过理论与代码并重的方式，帮助开发者：

• 打通知识脉络：理解技术演进的内在逻辑（如：为什么从 RNN 发展到 Transformer？）。
• 掌握核心原理：不仅会用，更懂其“所以然”，具备排查复杂问题和优化模型结构的能力。
• 学习代码演进：采用“提出问题-迭代重构”的教学模式，展示从简易脚本到工业级框架的演变过程，培养真正的工程化思维。
• 提升工程能力：通过 NER、文本分类及 LLM 微调部署等实战项目，积累生产环境下的开发经验。
• 拓宽技术视野：探索大模型安全、多模态等前沿领域，紧跟 AI 技术发展的最新趋势。

项目受众

本项目适合以下人群学习：

• 在校学生：希望系统学习 NLP 知识，为科研或求职打下基础。
• AI 算法工程师：需要从传统机器学习/深度学习转型到大模型领域的开发者。
• LLM 爱好者：对大模型底层原理感兴趣，希望深入理解大模型架构运行机制的极客。
• 研究人员：需要快速回顾 NLP 经典算法或寻找基线代码实现的学者。

前置要求：

• Python 基础：熟练掌握 Python 语法及常用数据结构。
• PyTorch 框架：具备基本的 PyTorch 深度学习框架使用经验。
• 深度学习基础：理解神经网络基本原理、反向传播机制及模型训练的基础流程。
• 数学基础：了解基本的线性代数、概率论及梯度下降等深度学习概念。

✨ 项目亮点

1. 体系化进阶路径：从基础的文本表示到 RLHF 和量化技术，内容层层递进。
2. 手写核心代码：拒绝"调包侠"，带领读者手写 Llama2、Transformer 等核心架构代码。
3. 实战导向：包含文本分类、命名实体识别（NER）、私有数据微调 Qwen2.5 等多个完整项目。
4. 全流程覆盖：不仅教你怎么训练，还教你怎么用 Docker 和 FastAPI 将模型部署成服务。
5. 图文并茂：配合大量图解，将抽象的算法原理可视化，降低学习门槛。
6. 直观易懂：尽量弱化复杂的数学公式推导，让数学基础薄弱的读者也能轻松掌握算法原理。

内容大纲

第一部分：理论篇

• 第 1 章：NLP 简介
  • [x] NLP 概述
  • [x] 环境准备
• 第 2 章：文本表示与词向量
  • [x] 初级分词技术
  • [x] 词向量表示
  • [x] 从主题模型到 Word2Vec
  • [x] 基于 Gensim 的词向量实战
• 第 3 章：循环神经网络
  • [x] 循环神经网络
  • [x] LSTM 与 GRU
• 第 4 章：注意力机制与Transformer
  • [x] Seq2Seq 架构
  • [x] 注意力机制
  • [x] 深入解析 Transformer
• 第 5 章：预训练模型
  • [x] BERT 结构及应用
  • [x] GPT 结构及应用
  • [x] T5 结构及应用
  • [x] Hugging Face 生态与核心库
• 第 6 章：深入大模型架构
  • [x] 手搓一个大模型
  • [x] MOE 架构解析
  • [x] 手撕大模型生成策略
  • [x] 上下文学习与提示词技术

第二部分：实战篇

• 第 1 章：文本分类
  • [x] 文本分类简单实现
  • [x] 基于 LSTM 的文本分类
  • [x] 微调 BERT 模型进行文本分类
• 第 2 章：命名实体识别
  • [x] 命名实体识别概要
  • [x] NER 项目的数据处理
  • [x] 模型构建、训练与推理
  • [x] 模型的推理与优化

第三部分：微调量化篇

• 第 1 章：参数高效微调
  • [x] PEFT 技术综述
  • [x] LoRA 方法详解
  • [x] 基于 peft 库的 LoRA 实战
  • [x] Qwen2.5 微调私有数据
• 第 2 章：高级微调技术
  • [x] RLHF 技术详解
  • [x] LLaMA-Factory RLHF（DPO）实战
• 第 3 章：大模型训练与量化
  • [x] 模型量化实战
  • [x] Deepspeed 框架介绍

第四部分：应用部署篇

• 第 1 章：模型服务部署
  • [x] FastAPI 模型部署实战
  • [x] 云服务器模型部署实战
  • [x] 使用 Docker Compose 部署模型服务
• 第 2 章：自动化与性能优化
  • [x] Git 与 GitHub 版本控制基础
  • [x] 搭建 Jenkins CI/CD 自动化部署流水线

第五部分：大模型安全

• 第 1 章：安全全景与威胁建模
  • [x] 大模型安全总览
  • [x] 威胁建模及风险分析
• 第 2 章：安全工程：对齐与架构设计
  • [ ] 行为对齐工程（建设中）
  • [ ] 安全架构设计（建设中）

第六部分：多模态前沿

• 第 1 章：认识多模态边界
  • [x] 多模态概述
  • [x] 图文多模态
• 第 2 章：视觉问答
  • [x] BLIP-2 与 LLaVA
  • [x] 原生统一架构
  • [x] 从 0 训练简化版 Omni 模型

Extra-chapter

- []()

关注我们

扫描下方二维码关注公众号：Datawhale