作者董董灿,致力于小伙伴快速入门AI技术。公众号《董董灿是个攻城狮》主理人,多年AI算法开发和调优经验。
本专栏共 7 次课程,会带你从零开始手写一个大模型,并且讲透一个大模型在运行过程中需要的背景和算法原理。
从零实现的内容包含:大模型的前处理/后处理,多头注意力机制的实现,GQA 的实现,前馈神经网络,大模型的后处理等内容。
非常适合想要入门大模型并且有提高的同学,祝你学有所成,收获满满。
扫描下方二维码后查看置顶文章,有更详细的介绍哦。

18订阅
10内容
79.4k字数
订阅专栏

扫码订阅专栏

使用微信扫一扫

从零手写大模型实战

想通过动手实战从零理解并实现大模型核心组件

适合:想动手实现大模型、理解底层原理的AI学习者和开发者

编辑结论

适合想动手实现大模型的学习者,10篇内容覆盖完整流程,有免费篇可先试看。

订阅人数
18
已更新
10 篇
免费试读
1 篇
79,387 字
作者
董章鱼
创作者

适合你,如果你…

  • 你想通过手写代码真正理解大模型内部运行机制
  • 你正在学习Qwen2等模型,需要可运行的实现参考
  • 你希望有一个从环境配置到对话生成的完整项目

建议跳过,如果你…

  • 你只想了解大模型概念,不打算动手写代码
  • 你已有成熟的大模型实现经验,需要进阶优化技巧
  • 你更关注提示词工程或应用层开发

它具体解决什么

  • 如何从零开始手写一个大模型?
  • Qwen2的注意力机制(GQA)怎么用代码实现?
  • 旋转位置编码RoPE在注意力中如何嵌入?
  • KVCache如何优化大模型推理?
  • 前馈神经网络层在大模型中怎么实现和封装?
  • 大模型的后处理流程包括哪些步骤?
  • 如何把各个模块组装成一个能对话的完整大模型?

你会得到什么

  • 7次课程带你从零手写完整大模型
  • 覆盖Qwen2注意力、GQA、RoPE、KVCache等核心机制
  • 代码实战与原理讲解结合,边写边懂
  • 包含前处理到后处理的完整流程
  • 有免费篇可先试看

内容大纲

  1. 1.Part7、构建一个完整的大模型,开始对话付费
  2. 2.Part6、大模型的后处理流程付费
  3. 3.Part 5:实现完整的前馈神经网络层,一鼓作气拿下整个模型(Model)付费
  4. 4.Part 4:实现完整的注意力:嵌入 RoPE 和 KVCache付费
  5. 5.Part3: 实现旋转位置编码付费
  6. 6.开发环境配置付费
  7. 7.Part2: 深入理解 Qwen2 的模型细节,开始实现注意力运算付费
  8. 8.Part1: 熟悉并实战完成文本到词嵌入的整体流程付费
  9. 9.《从零手写大模型》必读 | 大纲付费
  10. 10.Part0、手写大模型前必读付费

订阅前会问的问题

零基础能学吗?▼

需要一定的Python和深度学习基础,专栏从环境配置讲起,但最好了解PyTorch基本操作。

和免费内容比,付费部分值吗?▼

免费篇可了解风格,付费部分包含完整代码实现和原理讲解,共10篇、近8万字。

学完能达到什么程度?▼

能独立手写一个可对话的大模型,并理解注意力、位置编码、KVCache等核心机制。

课程更新完了吗?▼

专栏共10篇文章,已全部更新完毕。

详细介绍

这个专栏面向想入门大模型并动手实现的学习者。作者董董灿有多年AI算法开发和调优经验,专栏共10篇文章、7次课程,目前18人订阅,价格499元终身。内容从开发环境配置开始,逐步实现文本到词嵌入、Qwen2注意力运算、旋转位置编码、完整注意力(含RoPE和KVCache)、前馈神经网络层、模型封装与后处理,最终构建出可对话的完整大模型。

从开发环境配置到文本嵌入

《开发环境配置》和《Part1: 熟悉并实战完成文本到词嵌入的整体流程》帮助学习者搭好环境,并完成从原始文本到词嵌入的完整流程,这是大模型运行的第一步。

深入Qwen2的注意力实现

《Part2: 深入理解 Qwen2 的模型细节,开始实现注意力运算》结合Qwen2架构图,实现基于sdpa的分组查询注意力(GQA)。《Part3: 实现旋转位置编码》单独实现RoPE。《Part4:实现完整的注意力:嵌入 RoPE 和 KVCache》把位置编码嵌入GQA,并用KVCache优化推理过程。

前馈网络与完整模型封装

《Part 5:实现完整的前馈神经网络层,一鼓作气拿下整个模型(Model)》实现并封装前馈网络层,完成整个Model模块的搭建。《Part6、大模型的后处理流程》讲解模型输出后的处理步骤。《Part7、构建一个完整的大模型,开始对话》整合前面所有模块,给出可运行示例,让手写的大模型真正开始对话。

专栏有1篇免费文章,可以先看免费篇了解代码风格和讲解节奏,再决定是否深入。

准备开始你的 学习之旅 了吗?

立即免费试读,确认风格与节奏符合预期后再订阅。

免费试读
已有 18 人订阅

同类专栏

推荐分类