作者董章鱼,致力于帮助小伙伴快速入门AI算法,公众号《董章鱼是个攻城狮》主理人。
基于Transformer的大模型已经成为AI的顶流,该架构可以处理文本、语音和图像,基于此技术的AI应用也层出不穷。
本专栏将围绕Transformer系统从零讲解背景与算法技术,帮你打通理解该架构的最后一公里,祝你通过 Transformer 架构。
本专栏已完成更新,内容非常多,也有不少好玩的大模型应用的体验方法。
祝你学有所成,收获满满。
扫描下方二维码后查看置顶文章,有更详细的介绍哦。

189订阅
64内容
131.5k字数
订阅专栏

扫码订阅专栏

使用微信扫一扫

Transformer通关秘籍

系统学习Transformer架构与大模型算法原理

适合:想系统理解Transformer和大模型原理的AI初学者与开发者

编辑结论

适合想从零系统理解Transformer和大模型原理的AI初学者,64篇内容成体系,先看免费篇再决定。

订阅人数
189
已更新
64 篇
免费试读
1 篇
131,455 字
作者
董章鱼
创作者

适合你,如果你…

  • 你想从零系统理解Transformer架构而不是只调API
  • 你需要搞懂温度参数和采样参数背后的计算逻辑
  • 你想对比GPT、BERT和Qwen2的模型结构差异

建议跳过,如果你…

  • 你已经熟悉Transformer原理,只想找前沿论文解读
  • 你只想学提示词技巧,不关心模型底层结构
  • 你需要的是动手训练大模型的完整工程教程

它具体解决什么

  • 什么是Decoder-Only结构,它和编码器-解码器架构有什么区别?
  • GPT、BERT和Qwen2的模型结构分别是怎么设计的?
  • 温度参数和Softmax计算如何影响大模型的生成效果?
  • Top_p采样和Top_k采样分别是什么,该怎么选?
  • 为什么需要对预测得分进行惩罚?
  • KVCache是如何实现的,为什么能加速推理?

你会得到什么

  • 64篇系统文章,从背景到算法技术完整覆盖Transformer
  • 结合Qwen2、GPT、BERT等真实模型讲结构细节
  • 拆解温度参数、Top_p/Top_k采样等后处理机制
  • 包含KVCache等工程实现内容
  • 作者为AI算法科普公众号主理人,讲解偏入门友好

内容大纲

  1. 1.Qwen2 的模型结构和细节付费
  2. 2.GPT 和 BERT 的模型结构付费
  3. 3.什么是 Decoder-Only 结构付费
  4. 4.后处理:预测得分的温度参数和 Softmax 计算付费
  5. 5.后处理:预测得分的 Top_p 采样付费
  6. 6.后处理:预测得分的 Top_k 采样付费
  7. 7.后处理:为什么要对预测得分进行惩罚?付费
  8. 8.如何实现 KVCache?付费
  9. 9.大模型的推理过程:KVCache 的引入(Prefill 和 Decode)付费
  10. 10.位置编码:一文彻底搞懂旋转位置编码付费

订阅前会问的问题

零基础能学吗?▼

专栏从Decoder-Only等基础结构讲起,适合刚入门AI算法的学习者,但需要一点编程和深度学习基础会更顺。

和其他免费文章比,这个专栏值吗?▼

专栏有64篇系统内容,覆盖模型结构、后处理和工程实现,比碎片化文章更成体系。可以先看免费篇判断。

专栏更新完了吗?▼

已完成更新,共64篇,内容稳定。

价格是多少?▼

终身订阅69元,有1篇免费文章可以先读。

详细介绍

Transformer已经是大模型的主流架构,但很多人对它的理解停留在调用API和调参层面。这个专栏面向想从零搞懂Transformer的AI初学者,用64篇文章、131455字把架构和算法技术拆开讲清楚,作者是公众号《董章鱼是个攻城狮》主理人董章鱼。

从Decoder-Only讲起,把模型结构拆开

专栏从《什么是 Decoder-Only 结构》切入,先讲清楚编码器和解码器的分工,再对比《GPT 和 BERT 的模型结构》,最后落到《Qwen2 的模型结构和细节》。这条线把主流大模型的骨架讲明白,而不是只给一个概念定义。

后处理参数:调API时那些旋钮到底在做什么

很多人调过大模型的温度参数和采样参数,但说不清背后的计算。《后处理:预测得分的温度参数和 Softmax 计算》《后处理:预测得分的 Top_p 采样》《后处理:预测得分的 Top_k 采样》和《后处理:为什么要对预测得分进行惩罚?》几篇,把生成效果的控制逻辑一步步拆开。另外还有《如何实现 KVCache?》这类偏工程实现的内容。

适合谁和怎么开始

专栏共64篇,已完成更新,订阅人数189人,终身价格69元,有1篇免费文章。适合刚入门AI算法、想系统理解Transformer架构的学习者,也适合调过大模型API但想补底层原理的开发者。建议先看免费篇,再决定是否继续。

专栏里还有不少大模型应用的体验方法,学完架构之后可以顺手试试。

准备开始你的 学习之旅 了吗?

立即免费试读,确认风格与节奏符合预期后再订阅。

免费试读
已有 189 人订阅

同类专栏

推荐分类