大语言模型原理（四）：注意力机制——缩放点积注意力公式

sanyinchen

网上自注意力的讲解大多停在「让每个词看到句子里的其他词」这句比喻上。要真正搞清楚这一层在干什么，得回答四个具体问题：Q、K、V 三个矩阵从哪来，分数怎么算出来，为什么要除一个 √d k，softmax 之后拿到的东西代表什么。 拿「女生撩刘海」这三个 token 为例，把向量维度压到 2，从查表拿到词向量，到最后算出…

正在进入完整页面…