大语言模型原理（五）：Transformer 多头注意力、残差与归一化

sanyinchen

上一篇把「女生撩刘海」这三个 token 算到了注意力的输出 Z。但 Z 还不是这一层的结果。从 Z 到真正送给下一层的东西，中间还隔着多头拼接、两次残差、两次层归一化和一个前馈网络。这几步各自解决一个具体问题，去掉任何一个，模型要么学不到足够丰富的关系，要么深度一堆上去就训不动。 这一篇把它们逐个计算完，例子和维度…

正在进入完整页面…