概念：odds vs logits

2018-08-10 | 数学

odds、logits是数学、机器学习和深度学习中容易混淆的概念。

odds vs logits

odds和logits在神经网络和机器学习中都是常见的概念。odds称为几率或可能性，是事件A发生与不发生（非A）的概率的比值，

$\text{odds}(p) = \frac{p}{1-p}$

根据概率的取值范围容易得到$\operatorname{odds}(p) \in [0, + \infty)$。而logit，顾名思义log it，对$\operatorname{odds}(p)$取对数变换，

$\operatorname{logits}(p) = \log(\operatorname{odds}(p)) = \log \frac{p}{1-p}$

由于 $\operatorname{logits}(p) \in [-\infty, +\infty]$ 没有上下限，于是可以方便地进行建模。例如最简单的线性模型，

$\operatorname{logits}(p) = \log(\frac{p}{1-p}) = \beta_0 + \sum_{i=1}^{n} \beta_{i} x_{i}$

这就是可以理解，为什么很多机器学习和深度学习模型的输出在没有加激活（如softmax）称为logit。

对上式变换，有对数线性模型，

$p(\boldsymbol{x}) = \frac{\exp(\beta_0 + \sum_{i=1}^{n} \beta_{i} x_{i})}{1 + \exp(\beta_0 + \sum_{i=1}^{n} \beta_{i} x_{i})}$

这就是Logistic模型。