机器学习中分类与回归问题常用的损失函数

分类中常用的损失函数

回归和预测中常用的指标 (损失函数)

分类问题的损失函数

评估机器学习算法的能力，必须给定其性能的衡量指标，而训练模型必须给定其损失函数。损失函数度量的是模型在一个样本上学习的好坏如交叉熵，性能指标是度量模型整体学习情况的好看，如Precision、Recall等指标。有些情况下，损失函数和性能指标可以混用。

假设有样本集，

$$D =\left\{\left(\boldsymbol{x}_{1}, y_{1}\right), \dots,\left(\boldsymbol{x}_{n}, y_{n}\right)\right\}$$

分类器$f$预测，

$$\hat{y} = f(\boldsymbol{x})$$

最常见损失函数是0-1 loss function，

$$L(y,\hat{y})=I(\hat{y} \neq y)$$

该损失函数能够直观地刻画分类的错误率， 但是由于其非凸、 非光滑的特点，使得算法很难直接对该函数进行优化。为此，很多分类中的损失函数都是往凸性、光滑性上逼近该损失函数。

Hinge loss，

$$L(y)=\max (0,1-t \cdot y)$$

拉开正类样本与负类样本的距离。Hinge损失函数是0-1损失函数相对紧的凸上界

多分类情况的交叉熵（cross entropy loss），

$$L(f(\vec{x}), t)=-t \ln (\sigma(\vec{x}))-(1-t) \ln (1-\sigma(\vec{x}))$$

其中 $t \in\{0,1\}$

二分交叉熵（binary cross entropy），

$$L(y_{i}, \hat{y_{i}}) = -\frac{1}{n}\sum_{i=1}^{n}y_{i}\log{y_i}-(1-y_i)\log{(1-y_i)}$$

Square loss，

$$L(y,\hat{y})=(1-y f(\boldsymbol{x}))^{2}$$

Logistic loss，

$$L(y,\hat{y}) =\ln \left(1+e^{-y f(\boldsymbol{x})}\right)$$

Logistic损失函数也是0-1损失函数的凸上界， 且该函数处处光滑， 因此可以用梯度下降法进行优化。

Exponential loss

$$L(y, \hat{y})=e^{-\beta y f(\boldsymbol{x})}$$

回归问题的损失函数

MSE

$$\mathrm{MSE}=\frac{1}{n} \sum_{i=1}^{n}\left(Y_{i}-\hat{Y}_{i}\right)^{2}$$

RMSE

$$\mathrm{RMSE}=\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(Y_{i}-\hat{Y}_{i}\right)^{2}}$$

MSE和RMSE容易被离群样本影响导致估计失真。

MPE (Mean percentage error)

$$\mathrm{MPE}=\frac{1}{n} \sum_{t=1}^{n} \frac{Y_{t}-\hat{Y}_{t}}{Y_{t}}$$

在MPE基础上添加绝对值，即MAPE

$$\mathrm{MAPE}=\frac{1}{n} \sum_{t=1}^{n}\left|\frac{Y_{t}-\hat{Y}_{t}}{Y_{t}}\right|$$

RMSLE

$$\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(\log \left(Y_{i}+1\right)-\log \left(\hat{Y}_{i}+1\right)\right)^{2}}$$

MAE

$$\mathrm{MAE}=\frac{1}{n}\sum_{i=1}^{n}\left|Y_{i}-\hat{Y}_{i}\right|$$

绝对损失函数在f=y处无法求导数。 综合考虑可导性和对异常点的鲁棒性， 可以采用Huber损失函数。Huber损失函数为，

$$L_{\delta }(y,f(x))={\begin{cases}{\frac {1}{2}}(y-f(x))^{2}&\;{\textrm {for}}|y-f(x)|\leq \delta ,\\\delta \,|y-f(x)|-{\frac {1}{2}}\delta ^{2}&\;{\textrm {otherwise.}}\end{cases}}$$

SMAPE

$$\mathrm{SMAPE}=\frac{2}{n} \sum_{t=1}^{n} \frac{\left|Y_{t}-\hat{Y}_{t}\right|}{\left|Y_{t}\right|+\left|\hat{Y}_{t}\right|}$$

总结

loss本质是一种先验知识的引入。