作者董董灿，致力于帮助小伙伴快速入门AI算法，公众号《董董灿是个攻城狮》主理人。 基于Transformer的大模型已经成为AI的顶流，该架构可以处理文本、语音和图像，基于此技术的AI应用也层出不穷。 本专栏将围绕Transformer系统从零讲解背景与算法技术，帮你打通理解该架构的最后一公里，祝你通过 Transformer 架构。 本专栏已完成更新，内容非常多，也有不少好玩的大模型应用的体验方法。 祝你学有所成，收获满满。 扫描下方二维码后查看置顶文章，有更详细的介绍哦。
Qwen2 的模型结构和细节
Qwen2（千问）是由阿里云开发的人工智能大模型，可用于智能对话，是一个典型的 Decoder-Only 结构。
该模型在很多任务上有着非常不错的表现，很多公司都会基于......
GPT 和 BERT 的模型结构
上一节介绍了什么是 Decoder-Only 结构，并且提到，目前绝大多数的大模型采用的都是 Decoder-Only 结构。虽然如此，仍然一些模型会用到 Encoder 部分作为主要架构，典型......
什么是 Decoder-Only 结构
在《Attention is all you need》这篇论文中，作者给出了 Transformer 架构的完整图示。
一般来说，上图中左侧的部分被称为编码器，右侧的部分被称为解码......
后处理：预测得分的温度参数和 Softmax 计算
如果你调用过大模型的 API，或者创作过智能体的话，大概率你调整过一些用来控制模型生成效果的参数。
下图展示的是我在微调某个智能体时后台的参数设置界面，里面有一个多样性......
后处理：预测得分的 Top_p 采样
在上一节介绍了 Top_k 采样之后，接下来再看另一个非常常用的采样方法，叫做 Top_p 采样。
Top_p 采样中的 “p” 是 “probability”（概率......
后处理：预测得分的 Top_k 采样
在对大模型的输出 Logits 的后处理过程中，除了上一节提到的对分数进行重复惩罚之外，采样也是一个非常重要的步骤。
合理的采样算法和采样阈值的设置，可以使模型生成的内......
后处理：为什么要对预测得分进行惩罚？
从本节开始，会对大模型的后处理部分用到的一些经典的算法原理进行介绍。
所谓后处理，是指在大模型生成文本后，对生成的结果进行一系列的调整和优化，以确保输出的文本具有更好的......
如何实现 KVCache？
在上一节了解了 KVCache 提出的背景之后，本节来看一下如何实现 KVCache。
Q/K/V 都可以用矩阵来表示。在一个二维矩阵中，表示 K 和 V 的方式是一样......
大模型的推理过程：KVCache 的引入(Prefill 和 Decode)
在前面介绍完位置编码后，我们来从模型的视角看一个大模型中非常重要的技术，那就是 KVCache 缓存技术。
乍一看这个技术好像很深奥，又是 KV 又是缓存的，但是，如果......
位置编码：一文彻底搞懂旋转位置编码
上一节介绍了基于三角函数的位置编码，本节介绍旋转位置编码。
个人感觉旋转位置编码背后的思想非常的精妙，它的主要目的是利用一系列的算法，可以表达出句子内词与词之间的相对位......