Sigmoid函数导出的另外一个角度

从另外一个角度导出Sigmoid函数~

常规思路

Logistic function是形如一下形式的函数，

$$f(t)=\frac {K}{1+\left({\frac {K-P_{0}}{P_{0}}}\right)e^{-rt}}$$

其实它是来自增长模型，

$$\frac {dP}{dt}=r \times P\times \left(1-{\frac {P}{K}}\right)$$

是一个常微分方程，其解为，

$$P(t)=\frac {K \times P_{0}e^{rt}}{K+P_{0}\left(e^{rt}-1\right)}=\frac {K}{1+\left({\frac {K-P_{0}}{P_{0}}}\right)e^{-rt}}$$

化简一下以上参数，有如下形式函数，

$$\sigma(x) = \frac{1}{1 + e^{-x}}$$

该函数称为Sigmoid函数。在深度学习中常常作为二分类模型的输出或作为门机制使用。

从概率建模角度

深度学习模型的输出$f(x)$​在没有加激活（如softmax）称为logit，即

$$\operatorname{logits}(p) = \log(\frac{p}{1-p}) = f(x)$$

于是得，

$$p(x) = \frac{1}{1 + e^{-f(x)}} = \sigma\left(f(x) \right)$$

以上是导出Sigmoid函数函数的两种思路，此外还可以从函数光滑逼近的角度来理解。

另外一种导出思路

Heaviside step函数的定义为，

$$\begin{align} H(x) &= \frac {d}{dx}\max\{0, x\} \newline &= \begin{cases} 1,&\;x>0\\ 0,&\;x\leq 0 \end{cases} \end{align}$$

在函数光滑近似（1）：maximum函数我们知道，

$$\max(x_{1},\dots,x_{n}) \approx \frac{1}{\alpha} \ln( \sum_{i=1}^{n}e^{\alpha x_{i}}) \;,\; \alpha \gt 0$$

取$\alpha=1, x_1 = x, x_2 = 0$，有特例，

$$\max\{0, x\} = \ln(1 + e^x)$$

代入到Heaviside step函数的定义中，有

$$\begin{align} H(x) &= \frac {d}{dx}\max\{0, x\} \newline &\approx \frac {d}{dx} \ln(1 + e^x) \newline &= \frac{e^x}{1 + e^x} \newline &= \frac{1}{1 + e^{-x}} \newline &= \sigma(x) \end{align}$$

于是获得Sigmoid函数的另外一种导出，$\sigma(x)$是Heaviside step函数的一个光滑近似。

总结

文本提供一种导出Sigmoid函数的思路：为光滑逼近Heaviside step函数，寻找$\max(\boldsymbol{x})$的光滑版本$\max{0, x} = \ln(1 + e^x)$，其导出即为$\sigma(x)$函数。

转载请包括本文地址：https://allenwind.github.io/blog/9998
更多文章请参考：https://allenwind.github.io/blog/archives/