想通过动手实战从零理解并实现大模型核心组件
适合:想动手实现大模型、理解底层原理的AI学习者和开发者
适合想动手实现大模型的学习者,10篇内容覆盖完整流程,有免费篇可先试看。
需要一定的Python和深度学习基础,专栏从环境配置讲起,但最好了解PyTorch基本操作。
免费篇可了解风格,付费部分包含完整代码实现和原理讲解,共10篇、近8万字。
能独立手写一个可对话的大模型,并理解注意力、位置编码、KVCache等核心机制。
专栏共10篇文章,已全部更新完毕。
这个专栏面向想入门大模型并动手实现的学习者。作者董董灿有多年AI算法开发和调优经验,专栏共10篇文章、7次课程,目前18人订阅,价格499元终身。内容从开发环境配置开始,逐步实现文本到词嵌入、Qwen2注意力运算、旋转位置编码、完整注意力(含RoPE和KVCache)、前馈神经网络层、模型封装与后处理,最终构建出可对话的完整大模型。
《开发环境配置》和《Part1: 熟悉并实战完成文本到词嵌入的整体流程》帮助学习者搭好环境,并完成从原始文本到词嵌入的完整流程,这是大模型运行的第一步。
《Part2: 深入理解 Qwen2 的模型细节,开始实现注意力运算》结合Qwen2架构图,实现基于sdpa的分组查询注意力(GQA)。《Part3: 实现旋转位置编码》单独实现RoPE。《Part4:实现完整的注意力:嵌入 RoPE 和 KVCache》把位置编码嵌入GQA,并用KVCache优化推理过程。
《Part 5:实现完整的前馈神经网络层,一鼓作气拿下整个模型(Model)》实现并封装前馈网络层,完成整个Model模块的搭建。《Part6、大模型的后处理流程》讲解模型输出后的处理步骤。《Part7、构建一个完整的大模型,开始对话》整合前面所有模块,给出可运行示例,让手写的大模型真正开始对话。
专栏有1篇免费文章,可以先看免费篇了解代码风格和讲解节奏,再决定是否深入。