NLP中AttentionPooling的可视化理解

最近的一些在NLU中可视化实验总结，包括AttentionPooling1D、GlobalMaxPooling1D的物理意义，这里分享一下。

在进行NLU任务时，我们常常通过词（或字）向量序列通过Pooling的方法获得局向量（或文档）的表示。这样的Pooling方法常见有：

AveragePooling
MaxPooling
MinVariancePooling
AttentionPooling
SIF
TF-IDF作为权重对向量序列进行加权平均
等等

以上方法都是无监督，Pooling消耗资源极小。考虑对NLP的序列都是不定长，以上方法都应该支持Mask。以上相关实现和实验可参看sentence-embedding。

AttentionPooling1D

然而，我们面临一个疑问，以上Pooling方法是否可理解？这里我们不深入探讨“可理解”是什么？直观点，以上Pooling方法是否真的捕获了对下游任务相关的信息。Pooling过程把词向量序列Aggregation成一个定长向量，这个过程必然有大量的信息丢失，那么Pooling有效必须要保留对下游任务有用的信息而过滤无用的信息。

一种加权平均向量序列来获得背景向量的方法，当然这只是基本思路或者说是启发，那么如何计算加权平均的权重呢？很简单，既然是神经网络，那就让权重也自己学习出来就好了。假设有向量序列，注意是向量序列，即每个元素也是向量，

$\boldsymbol{x} = [\boldsymbol{x}_{1},\dots,\boldsymbol{x}_{n}]$

考虑到不定长的情况存在，如在传感器的多维时序中，不同样本的长度是不一样的。计算权重直接用两个全连接网络，

$[\alpha_{1}, \dots, \alpha_{n}] = \operatorname{softmax}(\boldsymbol{w}^{\mathsf{T}}\tanh(\boldsymbol{Wx}))$

然后加权平均，

$\begin{align} \operatorname{pool}(\boldsymbol{x}) &= \sum_{i=1}^{n} \alpha_{i}\boldsymbol{x}_{i} \\ &= \operatorname{softmax}(\boldsymbol{w}^{\mathsf{T}}\tanh(\boldsymbol{Wx})) \boldsymbol{x} \end{align}$

如果序列是不定长，处理好掩码问题。我们可以认为，这也是注意力机制的一种，不过没有query，也就是没有主动聚焦的信息点，因此可以把以上方法理解为一种参数化的显著性注意力。为提高信息的整合能力，毕竟把序列变为向量，或多或少会丢失信息。此池化方法甚至可以多头化，即类似于Attention Is All You Need中提到的多头注意力，不过要注意过拟合问题。

实现

AttentionPooling1D的call函数和字词重要性权重的实现如下，

class AttentionPooling1D(tf.keras.layers.Layer):

    def call(self, inputs, mask=None):
        if mask is None:
            mask = 1
        else:
            # 扩展维度便于广播
            mask = tf.expand_dims(tf.cast(mask, tf.float32), -1)
        x0 = inputs
        # 计算每个 time steps 权重
        w = self.k_dense(inputs)
        w = self.o_dense(w)
        # 处理 mask
        w = w - (1 - mask) * 1e12
        # 权重归一化
        w = tf.math.softmax(w, axis=1) # 有mask位置对应的权重变为很小的值
        # 加权平均
        x = tf.reduce_sum(w * x0, axis=1)
        return x, w