极大似然估计与最小二乘法的关系

本文分析极大似然估计与最小二乘法的关系。

参数估计

假设有概率分布$f(x, \theta)$，从该分布中采样$n$个样本$x_{1}, \dots, x_{n}$，参数估计的问题是根据这些样本估计参数$\theta$，

$$\hat{\theta} = g(x_{1}, \dots, x_{n})$$

事实上，在机器学习中，概率模型的学习过程就是一个参数估计过程。因此，数理统计中的参数估计方法也适用于机器学习中。然而，在数理统计上，关于参数$\theta$的实质存在着深刻的学派之争，分别是频率学派的最大似然预计（MLE）与贝叶斯学派的最大后验估计（MAPE）接下来我们做一下基本的介绍。

频率学派的最大似然估计（MLE）

首先我们从频率学派的最大似然预计（MLE）出发，然后从若干角度理解该参数估计方法的机理。极大似然估计（MLE）是一种参数估计方法，在假定样本数据独立同分布情况下，求出似然函数极大值时的参数，该参数即为样本数据分布函数的参数的一个估计值。

假设有概率分布$f(x, \theta)$，从该分布中采样$n$个样本$x_{1}, \dots, x_{n}$。易得似然函数，

$$L_{n}(x_1,\dots, x_{n}, \theta) = \prod_{i=1}^{n} f(x_{i}, \theta)$$

MLE寻找让似然函数最大的参数，即，

$$\hat {\theta }=\underset {\theta \in \Theta }{\operatorname {arg\;max} } \; L_{n}(x_1,\dots, x_{n}, \theta)$$

以正态分布为例，

$$f(x\mid \mu ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}\ }\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$$

根据定义，似然函数为

$$f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)$$

取对数，

$$\displaystyle \log {\Big (}{\mathcal {L}}(\mu ,\sigma ){\Big )}=-{\frac {\,n\,}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}$$

求$\displaystyle \log {\Big (}{\mathcal {L}}(\mu ,\sigma ){\Big )}$最大值相当于求$\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}$的最小值。通过最值方法容易求得，均值$\mu$为，

$$\hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} x_{i}$$

方差$\sigma$为，

$$\hat{\sigma} = \frac{1}{n} \sum_{i=1}^{n} (x_{i} - \hat{\mu})^{2}$$

MLE与最小二乘法的关系

假设有噪声噪声

$$\boldsymbol{\epsilon} \sim \mathcal{N}(0, \sigma^2\boldsymbol{I}_{n})$$

噪声叠加到线性模型上，有

$$\boldsymbol{y}=\boldsymbol{X} \boldsymbol{w} + \boldsymbol{\epsilon}$$

每个样本 $(\boldsymbol{x}_{i}, y_{i})$的概率表示，

$$p\left(y_{i} | \boldsymbol{x}_{i} ; \theta\right)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(y_{i}-\boldsymbol{w}^{\mathsf{T}} \boldsymbol{x}_{i}\right)^{2}}{2 \sigma^{2}}\right)$$

使用极大似然估计

$$\begin{align} L(\boldsymbol{w}) &= \prod_{i=1}^{n} p\left(y_{i} | \boldsymbol{x}_{i};\theta\right) \newline &= \prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(y_{i}-\boldsymbol{w}^{\mathsf{T}} \boldsymbol{x}_{i}\right)^{2}}{2 \sigma^{2}}\right) \end{align}$$

两边取对数

$$\log(L(\boldsymbol{w})) = n\log(\frac{1}{\sqrt{2 \pi} \sigma}) - \frac{1}{2\sigma^{2}}\sum_{i=1}^{n} \left(y_{i}-\boldsymbol{w}^{\mathsf{T}} \boldsymbol{x}_{i}\right)^{2}$$

于是有

$$\hat{\boldsymbol{w}} = \arg \min _{\boldsymbol{w}} \sum_{i=1}^{n} \left(y_{i}-\boldsymbol{w}^{\mathsf{T}} \boldsymbol{x}_{i}\right)^{2}$$

因此，最小二乘法等价于分布为正态分布的极大似然估计。换句话说，以均方误差（MSE）最小化的学习策略的机器学习算法与分布为正太分布的极大似然估计的参数估计方法在数学计算上是等价的。类似地，以平均绝对误差（MAE）最小化学习策略，等价于分布为拉普拉斯分布的极大似然估计。

总结

通过以上推导，最小二乘法等价于分布为正态分布的极大似然估计。

转载请包括本文地址：https://allenwind.github.io/blog/6781
更多文章请参考：https://allenwind.github.io/blog/archives/