引入参数控制softmax的smooth程度

如何入参数控制softmax的smooth程度？

上一篇多分类模型的输出为什么使用softmax？中分析了多分类模型的输出为什么使用softmax？其中包括softmax的导出过程，该推导过程只要稍加修改就可以很自然地导出带参数能够控制softmax光滑程度的版本。

这里使用到max的一光滑逼近形式，

$$\max(x_{1},\dots,x_{n}) \approx \frac{1}{\alpha} \log( \sum_{i=1}^{n}e^{\alpha x_{i}})$$

具体推导如下，

$$\begin{align} \operatorname{one-hot}(C_{k}) &= [0, \dots, 1, \dots, 0] \newline &= \operatorname{one-hot}\Big(\underset{i=1,\cdots,n}{\text{argmax}} \; x_i \Big) \newline &= \operatorname{one-hot}\Big(\underset{i=1,\cdots,n}{\text{argmax}} \; \big[x_i - \max(\boldsymbol{x}) \big] \Big) \newline &= \operatorname{one-hot}\Big(\underset{i=1,\cdots,n}{\text{argmax}} \; \exp\big[x_i - \max(\boldsymbol{x}) \big] \Big) \newline &\approx \operatorname{one-hot}\Big(\underset{i=1,\cdots,n}{\text{argmax}} \; \exp\Big[x_i - \frac{1}{\alpha}\log(\sum_{i=1}^{n} e^{\alpha x_i}) \Big] \Big) \newline &= \operatorname{one-hot}\Big(\underset{i=1,\cdots,n}{\text{argmax}} \; \exp \frac{1}{\alpha} \Big[\alpha x_i - \log(\sum_{i=1}^{n} e^{\alpha x_i}) \Big] \Big) \newline &= \operatorname{one-hot}\Big(\underset{i=1,\cdots,n}{\text{argmax}} \; \exp \Big[\alpha x_i - \log(\sum_{i=1}^{n} e^{\alpha x_i}) \Big] \Big) \newline &= \operatorname{one-hot}\Big(\underset{i=1,\cdots,n}{\text{argmax}} \; \frac{e^{\alpha x_i}}{\displaystyle \sum_{i=1}^{n} e^{\alpha x_i}} \Big) \newline &\approx [\frac{e^{\alpha x_1}}{\displaystyle \sum_{i=1}^{n} e^{\alpha x_i}}, \dots, \frac{e^{\alpha x_n}}{\displaystyle \sum_{i=1}^{n} e^{\alpha x_i}}] \newline &= \operatorname{softmax}(\alpha \boldsymbol{x}) \newline &= \operatorname{one-hot}_{s}(C_{k}) \end{align}$$

以上推导的关键要点是把logsumexp的参数例如其中。这个结果还是符合直觉的，通过$\alpha$来控制$\alpha \boldsymbol{x}$，进而控制$\operatorname{softmax}(\boldsymbol{x})$​​​​的光滑程度。

事实上，在激活函数中，也是类似的操作，

$$\sigma(\alpha x) = \frac{1}{1 + e^{-\alpha x}} = \frac{e^{\alpha x}}{1 + e^{\alpha x}}$$

这个应用在GELU激活函数中有特例$\alpha = 1.702$，

$$x\Phi(x)\approx x\sigma(1.702 x)$$

这个结果在Attention中有重要应用，

$$\operatorname{Attention}(\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V}) = \operatorname{softmax}\left(\frac{\boldsymbol{Q}\boldsymbol{K}^{\top}}{\sqrt{d_k}}\right)\boldsymbol{V}$$

这里$\alpha$为，

$$\alpha = \frac{1}{\sqrt{d_k}}$$

总结

本文提供一种引入参数控制softmax的smooth程度的导出思路，事实上，光靠数学直觉也能知道如何引入参数，不过多种思路多种理解。

转载请包括本文地址：https://allenwind.github.io/blog/15205
更多文章请参考：https://allenwind.github.io/blog/archives/