函数光滑近似（3）：abs函数

求模函数在深度学习中也是很常见，例如文本匹配中，求两个词向量的模作为特征。本文讨论abs的光滑近似。

max变换出发

注意到$f(x) = |x|$可以用max函数表示，而max函数可以表示为logsumexp形式，于是有参数的形式

$\begin{align} |x| &= \max\{-x, x \} \newline &\approx \frac{1}{\alpha}\log(e^{-\alpha x}+e^{\alpha x}) \end{align}$

取$\alpha=1$，有特例，

$|x| \approx \log(e^{-x}+e^{x})$

对于二元形式的$\max(x,y) $，有

$\begin{align} \max(x,y) &= \frac{|x+y|+|x-y|}{2} \\ &\approx \frac{1}{2} \Big( \log(e^{x+y} + e^{-x-y}) + \log(e^{x-y} + e^{-x+y}) \Big) \end{align}$

取$y = -x$，于是，

$\begin{align} |x| &= \max\{-x, x \} \newline &\approx \frac{\log(2)}{2} + \frac{1}{2}\log( e^{2x} + e^{-2x}) \end{align}$

其实就是函数光滑近似（1）：max函数#构造max的光滑近似中的结果。

几何角度出发

abs 可以从几何的角度出发，看做 $(x,0)$ 到原点的距离，通过偏移 $(x,\mu)$，有

$|x| \le \sqrt{x^{2} + \mu^{2}}$

可以写成，

$|x| \le \sqrt{x^{2} + \mu}$

其中 $\mu \gt 0$ ，这两种写法没有质的区别。我们可以让$\mu$随着远离远点儿减小，例如，

$|x| \le \sqrt{x^{2}+\frac{\mu}{x^2+1}}$

但是这种形式是不具有对称性，为此可以改为偏移指数衰减，

$|x| \le \sqrt{x^{2}+\frac{\mu}{e^{x}+e^{-x}}}$

这里涉及到$e^{x}+e^{-x}$是出于对称性考虑。

偏移平方指数衰减，

$|x| \le \sqrt{x^{2}+\mu e^{-\beta x^{2}}}$

按照这种思路，还可以构造更多的光滑逼近。不过需要注意，上述涉及到$f(x) = e^x$的构造并不对称，需要改成$f(x) = e^x + e^{-x}$形式。而且这些构造计算梯度并不优雅。

从符号函数开刀

使用符号函数表示绝对值函数，

$|x| = x \operatorname{sign}(x)$

其中，

$\displaystyle \operatorname {sign}(x) ={\begin{cases}-1&\;{\text{if }}x<0,\\0&\;{\text{if }}x=0,\\1&\;{\text{if }}x>0.\end{cases}}$

因此，当$x \ne 0$时，有

$\operatorname{sign}(x) = \frac{x}{|x|} = \frac{|x|}{x}$

只要逼近符号函数 $\operatorname{sign}(x)$ 就能解决绝对值函数$f(x) = |x|$的光滑逼近问题，也就是找“softsign”函数。逼近符号函数有两种方法：

数值逼近
随机逼近

这两种思路本质上是寻找类似logistics函数来逼近符号函数 $\operatorname{sign}(x)$ ，我们先说数值逼近。

根据$\operatorname{sign}(x) = \frac{x}{|x|}$最容易构造满足$x=0$的情况为，

$\displaystyle \operatorname {sign} (x) = \frac{x}{|x|}\approx {\frac {x}{\sqrt {x^{2}+\varepsilon ^{2}}}}$

这里$\varepsilon \rightarrow 0$。因此有，

$|x| = x \operatorname{sign}(x) = {\frac {x^2}{\sqrt {x^{2}+\varepsilon ^{2}}}}$

类似的思路还有很多。注意到$|x| = \max(x, -x)$函数可以表示为logsumexp形式，因此有，

$\begin{align} |x| &= x \operatorname{sign}(x) \newline &= x \times \frac{x}{|x|} \newline &= \frac{x^2}{\max(x, -x)} \newline &\approx \frac{\alpha x^2}{\log(e^{-\alpha x}+e^{\alpha x})} \end{align}$

我们注意到$\sigma(x)$的形状和符合函数很像（纯几何直觉），只不过其区间在$(0, 1)$，通过变换，使其区间落到$(-1, 1)$，即

$\operatorname{sign}(x) \approx \tanh(\mu x) = 2\sigma(2\mu x)-1$

这里引入参数$\mu$控制$x$的饱和区间。于是有，

$|x| = x \tanh(\mu x) = x\Big(2\sigma(2\mu x)-1 \Big)$

类似的思路还有，

$|x| \approx x \Big( \frac{2}{(1 + e^{-x})^{\alpha}} -1\Big)$

其中$\alpha \gt 0$。

Heaviside step函数也能构造，

$\begin{align} |x| &= x \operatorname{sign}(x) \newline &\approx x \times \Big( 2H(x) - 1 \Big) \newline &\approx x \times \tanh(kx) \newline &= x \times \Big( \frac{2}{1 + e^{-2kx}} - 1\Big) \end{align}$

这里$k \rightarrow \infty$，$k$取值越大逼近效果越好。

此外，考虑到$\operatorname{softsign}(x) = \frac{x}{1+ |x|}$，有

$|x| = x \operatorname{sign}(x) \approx \frac{x^2}{1+ |x|}$

于是有连分数，

$|x| = x \operatorname{sign}(x) \approx \frac{x^2}{1+ \frac{x^2}{1+ \frac{x^2}{1+ \frac{x^2}{1+ \frac{x^2}{1+ \frac{x^2}{1+ \dots }}}}}}$

可以改写成迭代形式，

$x_{i + 1} = \frac{x ^ 2}{1 + x_i}$

这个形式还可以进一步推广，

$\displaystyle f(x)=\frac {x}{(1+|x|^{k})^{1/k}}$

于是有连分数，

$|x|=\frac {x}{(1+\frac {x}{(1+\frac {x}{(1+\frac {x}{(1+\frac {x}{(1+\frac {x}{(1+\frac {x}{(1+\frac {x}{(1+|x|^{k})^{1/k}}^{k})^{1/k}}^{k})^{1/k}}^{k})^{1/k}}^{k})^{1/k}}^{k})^{1/k}}^{k})^{1/k}}^{k})^{1/k}}$

好啦，感觉思路越来越怪异了。我们跳出来吧。

符号函数概率化逼近

还可以从概率的角度构造这个偏移量，假设这个偏移服从正态分布

$\operatorname{erf}(x) = \frac{1}{\sqrt{\pi}}\int_{-x}^{x}e^{-t^{2}}dt = \frac{2}{\sqrt{\pi}}\int_{0}^{x}e^{-t^{2}}dt$

是一个像logistics函数图像一样的函数，易证$\operatorname{erf}(\frac{x}{\sqrt{2}}) \in (-1, 1)$，函数图像如下，

值得注意，标准正态分布的累积分布函数可以用$\operatorname{erf}(x)$表示，

$\Phi(x) = \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{x} e^{\frac{-t^2}{2}} dt = \frac{1}{2} \Big( 1 + \operatorname{erf}(\frac{x}{\sqrt{2}}) \Big)$

于是有

$|x| \approx x \operatorname{erf}(\frac{x}{\sqrt{2}})$

可视化对比abs函数的差异，

可以看到逼近效果很好，那么接下来的思路就是使用简单的函数近似$\operatorname{erf}(\frac{x}{\sqrt{2}})$。那么怎么推呢，这里我们直接借鉴论文Gaussian Error Linear Units (GELUs)中的结论，注意到论文中有结论，

$\begin{align} \operatorname{GELU}(x) &= x \Phi(x) \newline &= \frac{x}{2} \Big( 1 + \operatorname{erf}(\frac{x}{\sqrt{2}}) \Big) \newline &\approx \frac{x}{2} \Big( 1 + \tanh \left[ \sqrt{\frac{2}{\pi}} (x + 0.044715x^3)\right] \Big) \end{align}$

于是有，

$\operatorname{erf}(\frac{x}{\sqrt{2}}) \approx \tanh \left[ \sqrt{\frac{2}{\pi}} (x + 0.044715x^3)\right]$

因此有，

$\begin{align} |x| &= x \operatorname{sign}(x) \newline &\approx x \operatorname{erf}(\frac{x}{\sqrt{2}}) \newline &\approx x \tanh \left[ \sqrt{\frac{2}{\pi}} (x + 0.044715x^3)\right] \end{align}$

以上推导用到正态分布的累积分布函数$\Phi_{\sigma}(x) $与误差函数$\operatorname{erf}(x)$的关系，

$\begin{align} \Phi_{\sigma}(x) &= \int_{-\infty}^{x} \frac{1}{|\sigma|\sqrt{\pi}}e^{-(x/\sigma)^{2}}dx \newline &= \int_{-\infty}^{0} \frac{1}{|\sigma|\sqrt{\pi}}e^{-(x/\sigma)^{2}}dx + \int_{0}^{x} \frac{1}{|\sigma|\sqrt{\pi}}e^{-(x/\sigma)^{2}}dx \newline &= \frac{1}{2} + \frac{1}{2}\operatorname{erf}(\frac{x}{\sigma\sqrt{2}}) \end{align}$