注意力可视化预备

图论前提

• 度：与结点连接的边数。

  • 对于有向图
  • 出度：从结点出去的边。
  • 入度：进入结点的边。

• 邻接矩阵：

  • 每一个位置：（a,b）=1表示a到b有一条边

  • 每一行的和：表示行头（a）的总出度。

  • 每一列的和：表示列头（a）的总入度。

  • 邻接矩阵相乘：相乘几次表示路径长度，（a，b）的值表示当前路径长度下的边数。

    注意
    使用权重表示的邻接矩阵相乘后的结果不具备类似可解释性。

论文参考

Quantifying Attention Flow in Transformers

Since in Transformer decoder, future tokens are masked, naturally there is more attention toward initial tokens in the input sequence, and both attention rollout and attention flow will be biased toward these tokens. Hence, to apply these methods on a Transformer decoder, we should first normalize based on the receptive field of attention.

• 存在的问题：有掩码时，此方法可能会失效。

• 解决方案：根据接收域来归一化。

• 注意力矩阵：邻接矩阵的转置。

• 本文对于其内部存在的局限性上

  • 使用effective attention weights 替代raw attention($A=0.5Watt+0.5I$)进行递归计算

    effective attention weights的目的是从raw attention中找出真正影响结果的那部分，解决raw attention带来的偏差。

    • 来源：当输入的token数 大于 注意力头的维度的时候，注意力矩阵$A$就会存在非零零空间，这意味$A$是不唯一的。当输入的token数 小于等于 注意力头的维度时，effective attention weights = raw attention。

    • 核心思想：找出真正与结果相关的部分，而剩下的部分就是导致$A$不唯一的部分。（类似于去噪提纯）

      $$A\cdot T=(A+\overline{A})\cdot T$$

    • 算法初步推导：

      先构建$T$

      $T=E{W}^{V}H$，其中：

      • E是输入嵌入矩阵维度$760\times 512$；

      • $W^V$是值投影矩阵维度 $512\times d_v$，假设多头注意力中 $d_v=64$

      • $H$ 是头部混合矩阵维度 $d_v\times 512$。
        $\text{rank}(T)\le min(d_s,d_v)=2$，因此 T 的零空间维度为 $d_s-d_v=760-64=696$。

      $A^{\perp }=A-A^{\parallel }$

      其中$A^{\perp }$是最后获得的结果，$A^{\parallel }$通过$A^{\parallel }T=0$获得

  • 基于gradient算 -> Gradient-Based Attribution Methods | SpringerLink

ON IDENTIFIABILITY IN TRANSFORMERS

query：$Q\in {\mathbb{R}}^{d_s\times d_q}$

key：$K\in {\mathbb{R}}^{d_s\times d_q}$

value: $V\in {\mathbb{R}}^{d_s\times d_v}$

由公式1输出的结果叫做contextual word embedding。

$x_i\in {\mathbb{R}}^d$表示输入Token；$e_i^l$是第$l$层输出的contextual word embedding的第$i$行。

若干个$x_i$组成了输入矩阵 $X\in {\mathbb{R}}^{d_s\times d}$ ；若干个 $e_i^l$ 组成了embedding matrix $E\in {\mathbb{R}}^{d_s\times d}$。

$H\in {\mathbb{R}}^{d_v\times d}$。公式2的左侧公式表示的意思是：若干个头有若干组Q\K\V，这些头输出的结果的尺寸为$d_s\times d_v$，其中$d_v=\frac{d}{h}$， $h$为头的数量。