最大熵原理、最大熵约束与概率分布

本文讲最大熵原理，并从最大熵约束角度导出常见概率分布。

在处理未知概率分布时，我们常常假设满足观察条件下熵为最大的概率分布，该分布称为最大熵分布。

最大熵原理

最大熵原理就是说在未知的事情面前，我们选择不确定性最大的那一个。这样做意味着我们不引入任何假设，承认自己除了已经观察到的信息外，对其事情无知。简而言之：自知无知！

反过来想，如果我们不承认无知，而是对其引入假设（假设不是观察信息），如果正确，那对我们建模当然有用，如果错误，只会偏离正确结果更远，那么我们如何保证我们的假设是正确的。这样一来，引入假设反而有风险，既然如此，还不如不做假设，自知无知更好！然后，满足这样条件的分布还是有很多，最大熵原理则认为熵最大的分布最好，

$$\max_{p \in \mathbb{P}} H[p] =\max_{p \in \mathbb{P}} -\int p(x) \log p(x)\, dx$$

例如一颗骰子在面前，对各个点数 $\Omega = {1, 2, 3, 4, 5, 6}$，那么每颗骰子点数出现的概率是多数呢？由于没有更多信息，这里不做任何假设，自知无知。认为每个点数等可能出现是最优的做法。于是有，

$$p(x) = \frac{1}{|\Omega|} = \frac{1}{6}$$

有未知分布$p(x)$​​，其具体形式和参数都不知道，但是我们有了一些观察信息$r_i(x)$，可以使用期望来表示，

$$E\Big[r_i(x) \Big] = \int_{\Omega} p(x)r_{i}(x) dx = \alpha_{i}$$

其中，$1 \le i \le m$​，这些信息是可以通过试验获得。例如通过采样估计均值，也就是$r(x) = x$，

$$\int_{\Omega} x p(x) dx = \mu$$

通过采样估计二价矩，也就是$r(x) = x^2$，

$$\int_{\Omega} x^{2} p(x) dx = m_{2}$$

或者更实际的方差，也就是$r(x) = (x - \mu)^2$，

$$\int_{\Omega} (x-\mu)^{2} p(x) dx = \sigma^{2}$$

这些观察信息对于优化问题来说就是约束，即未知概率分布必须满足的条件。

根据最大熵原理，我们期望$p(x)$在满足约束下熵最大，于是有如下优化问题，

$$\begin{align} \max_{p \in \mathbb{P}} H[p] &=-\int p(x) \log p(x)\, dx \\ \operatorname{s.t.} \; & \begin{cases} p(x) \ge 0 \\ \int_{\Omega} p(x) dx = 1 \\ \int_{\Omega} p(x)r_{i}(x) dx = \alpha_{i}\; \text{for}\; 1 \le i \le m \end{cases} \end{align}$$

其中$r_{i}(x)$均为矩约束条件，如一价矩（均值）、二价矩（方差）等等。该优化问题其实就是求在满足矩约束条件下，求解熵最大的概率密度函数。这并不是一个普通的数值优化问题，因为变量是未知的函数。不过在数学上有泛函分析和变分法来处理。当函数作为变量时的优化问题，可以参考有关资料（keyword：Euler-Lagrange Equation、拉格朗日泛函）。

为求解以上优化问题，构造如下泛函，

$$J(p) = -\int p(x) \log p(x) + \lambda_{0}\int p + \sum_{i=1}^{m}\lambda_{i}\int p r_{i}$$

根据变分法，对泛函$J(p)$求关于$p$的泛函导数，

$$\frac{\partial J(p)}{\partial p} = -\log p(x) - 1 + \lambda_{0} + \sum_{i=1}^{m}\lambda_{i}r_{i}(x)$$

另上式取零，求得$p(x)$，

$$p(x) = \exp \Big(\lambda_{0} - 1 + \sum_{i=1}^{m}\lambda_{i}r_{i}(x) \Big)$$

参数$\lambda_{i}$可以代入到原约束中求解，

$$\int_{\Omega} p(x)r_{i}(x) dx = \alpha_{i}$$

考虑概率密度的归一性，以上形式可以转化为，

$$p(x) = \frac{1}{Z}\exp \Big[ \sum_{i=1}^{m}\lambda_{i}r_{i}(x)\Big]$$

其中，

$$Z = \sum_{x \in \Omega}\exp\Big[ \sum_{i=1}^{m}\lambda_{i}r_{i}(x) \Big]$$

常数$Z$确保$\int_{\Omega} p(x) dx = 1$。连续型概率与离散型概率的推导过程一致。

根据最大熵原理的思路，我们就可以导出很大常见的分布。

最大熵与正态分布

考虑未知具体形式的概率密度$p(x)$​，假设已知方差$\sigma^{2}$​与均值$\mu$​，求解最大熵分布。已知方差和均值相当于约束分别为$r_{1}(x) = x$​和$r_{2} (x) = (x-\mu)^2$​。​为了更好理解以上过程，这里我们不直接套用以上结论，而是沿着结论的思路再推导一遍，

该未知分布$p(x)$的熵有，

$$H[p]=-\int_{\Omega} p(x) \log p(x) d x$$

约束有，

$$\int_{\Omega} r_1(x) p(x) dx = \mu \\ \int_{\Omega} r_2(x) p(x) dx = \sigma^2$$

于是有拉格朗日函数，

$$\begin{align} L(p, \lambda) &=\int _{-\infty }^{\infty }p(x)\log p(x)\,dx -\lambda_{1}\left(1-\int _{-\infty }^{\infty }p(x)\,dx\right) -\lambda_2 \left(\mu -\int _{-\infty }^{\infty }p(x)x\,dx\right) -\lambda_3 \left(\sigma ^{2} -\int _{-\infty }^{\infty }p(x)(x-\mu )^{2}\,dx\right) \newline &= \lambda_{1}\left(\int p(x) d x-1\right)+\lambda_{2}(\mathbb{E}[x]-\mu)+\lambda_{3}\left(\mathbb{E}\left[(x-\mu)^{2}\right]-\sigma^{2}\right)+H[p] \newline &= \int\left[\lambda_{1} p(x)+\lambda_{2} p(x) x+\lambda_{3} p(x)(x-\mu)^{2}-p(x) \log p(x)\right] d x-\lambda_{1}-\mu \lambda_{2}-\sigma^{2} \lambda_{3} \end{align}$$

另上式等于零，解得形式，

$$p(x)=\exp \Big(\lambda_{1}+\lambda_{2} x+\lambda_{3}(x-\mu)^{2}-1\Big)$$

根据概率密度的归一性，代入到方差$\sigma^{2}$​与均值$\mu$​的约束中，解得，

$$\displaystyle p(x,\mu ,\sigma )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$$

也就是说，在已知方差和均值情况下，熵最大的分布为正态分布。此时，我们知道正态分布的熵为，

$$H[N(\mu, \sigma^{2})] = \displaystyle {\frac {1}{2}}\log(2\pi e\sigma ^{2})$$

最大熵与均匀分布

在没有矩约束即$r_{i}(x)=0$的情况下，概率密度的形式，

$$\begin{align} p(x) &= C\exp \Big[\sum_{i=1}^{m}\lambda_{i}r_{i}(x) \Big] \\ &= C \end{align}$$

考虑归一性有，

$$p(x) = \frac{1}{|\Omega|}$$

例如骰子，$\Omega = {1, 2, 3, 4, 5, 6}$，让熵最大的分布为均匀分布，此时，

$$p(x) = \frac{1}{6}$$

于是，我们就可以理解，在贝叶斯统计中，在什么都不知道的情况下，选择均匀分布作为先验分布的原因了。假如我们在大街上捡到一枚硬币，为让熵最大，我们承认自己无知（不知道它是不是普通硬币还是做过手脚的硬币），认为这枚硬币正反两面的概率都一样。

最大熵与指数分布

指数分布是考虑约束，

$$r_1(x) = \operatorname {E} (x)=\frac {1}{\lambda }$$

其实$x \in [0, +\infty)$。由于只有约束$r(x) = x$​，那么代入最大熵分布有，

$$p(x) = \frac{1}{Z} \exp(-\lambda x)$$

处理好归一问题后，有，

$$p(x) = \frac{1}{\lambda} \exp(-\lambda x)$$

最大熵与拉普拉斯分布

考虑$x \in (- \infty, + \infty)$，且满足约束条件，

$$r_1(x) = \operatorname {E} (|x-\mu |)=b$$

代入最大熵分布，且归一化分布，得，

$$f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)$$

这些求解本质上是代入后求积分，根据归一化特点求出未知参数$\lambda_i$。

总结

从信息论角度看，某个具体的概率分布是给定取值约束（最大熵约束）条件下，熵最大的解。总结有下表，

概率分布	最大熵约束
均匀分布	随机变量的均值方差未知
指数分布	已知随机变量的均值
拉普拉斯分布	已知随机变量的绝对值的均值（平均绝对误差）
正态分布	已知随机变量的均值和方差

转载请包括本文地址：https://allenwind.github.io/blog/6708
更多文章请参考：https://allenwind.github.io/blog/archives/