Transformer 与 MoE：模型骨架上的稀疏化改造

sanyinchen

大模型发布会的话术这两年已经固定下来：总参数数万亿，MoE 架构加持，推理成本却比同级别模型低一大截。面试里也常出现同一道题，让人说清 Transformer 和 MoE 的区别，不少答案会把两者摆成并列的两种架构互相比较。 它们处在不同层级。Transformer 定义了「注意力 + 前馈」的主干结构，MoE 是在…

正在进入完整页面…