多头注意力机制的通俗式理解

多头注意力机制的通俗式理解

各位都很忙，废话不多说直接上图。

首先 Q K V 均来自同一个数据，
假设 我们有同一个 输入数据 a,
则
Q = Linear（a）
K = Linear（a）
V = Linear（a）
其中，三个 Linear（·）并非同一个，拥有不同的参数。
Q 代表 query – 查询， K 代表 key – 键， V 代表 value – 值
我们目的 是从同一个 数据 a 中生成 含义为： 查询 某一个 键 对应的 权重，
然后使用这个 权重 乘以 值 得到 经过权重分配后的 数据 a 的表示。
即 Q 乘以 K 的转置 得到的是 一个权重，这就是为什么 上图中 为什么还要经过 softmax，然后 权重 乘以 V 得到 经过 权重注意力的 数据。