解释常见的统计分布

分布是数据生成之母，这里梳理常见的概率分布。

离散分布

bernoulli distribution

$$p(k) = p^{k}(1-p)^{1-k} \$$

Categorical distribution

bernoulli distribution 分布的多元形式

alias multi-bernoulli distribution，Categorical distribution

$$f(x|\boldsymbol{p}) = \prod_{i=1}^{n}p_{i}^{[x=i]}$$

binomial distribution

$$f(x) = \binom{n}{k}p^{k}(1-p)^{n-k}$$

bernoulli distribution 分布的多次形式

$$\sum _{k=1}^{n}X_{k}\sim \operatorname {B} (n,p)$$

multi-nomial distribution

bernoulli distribution 分布的多元、多次形式

$$\Pr(X_{1}=x_{1},\dots, X_{k}=x_{k}) = \frac{n!}{x_{1}!x_{2}!\dots x_{k}!} p_{1}^{x_{1}} \dots p_{k}^{x_{k}}$$

其中满足，

$$\sum_{i=1}^{k}x_{i} = n$$

Dirichlet distribution

$$f(x) = \frac{\Gamma(\sum_{i=1}^{k}\alpha_{i})}{\prod_{i=1}^{k}\Gamma(\alpha_{i})} \prod_{i=1}^{k}x_{i}^{\alpha_{i}-1}$$

Poisson distribution

$$f(x=k;\lambda) = \frac{\lambda^{k}e^{-\lambda}}{\lambda!}$$

二项分布的极限

均匀分布

$$f(x;a,b) = \left\{\begin{matrix} \frac{1}{b-a} & a \le x \le b \\ 0 &x \lt a \; \text{or} \; x \gt b \end{matrix}\right.$$

Cauchy distribution

$$f(x;a,b) = \frac{1}{(x-a)^2+b}$$

Exponential 分布

$$f(x;\lambda) = \left\{\begin{matrix} \lambda e^{-\lambda x} & x\ge0 \\ 0 &x \lt 0 \end{matrix}\right.$$

Laplace 分布

$$f(x | \mu, b)=\frac{1}{2 b} \exp \left(-\frac{|x-\mu|}{b}\right)$$

Normal 分布

$$f(x|\mu,\sigma^2) = \frac{1}{\sqrt{2\pi}\sigma}e^{-(x-\mu)^{2}/2\sigma^{2}}$$

Gamma 分布

$$f(x ; \alpha, \beta)=\frac{\beta^{\alpha} x^{\alpha-1} e^{-\beta x}}{\Gamma(\alpha)} \quad$$

其中$x>0 \quad \alpha, \beta>0$可以看做是指数分布家族的一般形式

Beta 分布

$$f(x;\alpha,\beta) = \frac{1}{B(\alpha,\beta)}x^{\alpha-1}(1-x)^{\beta-1}$$

$B(\alpha,\beta)$是B函数。

grumbel 分布

$$f(x;z) = \displaystyle {\frac {1}{\beta }}e^{-(z+e^{-z})}$$

其中，

$$\displaystyle z={\frac {x-\mu }{\beta }}$$

power

$$f(x, c) = cx^{c-1}$$

$x \in [0, 1]$

采样分布

卡方分布

卡方分布也称为抽样分布。如果 x 是独立的, 标准正态分布, 那么

$$Q=\sum_{i=1}^{k} x_{i}^{2}$$

服从

$$Q \sim \chi^{2}(k)$$

其概率密度函数为

$$f(x ; k)=\left\{\begin{array}{ll}{\frac{x^{\frac{k}{2}-1} e^{-\frac{x}{2}}}{2^{\frac{k}{2}} \Gamma\left(\frac{k}{2}\right)},} & {x>0} \\ {0,} & {\text { otherwise }}\end{array}\right.$$

cdf 为

$$F(x ; k)=\frac{\gamma\left(\frac{k}{2}, \frac{x}{2}\right)}{\Gamma\left(\frac{k}{2}\right)}$$ $$\gamma(s, x)=\int_{0}^{x} t^{s-1} \mathrm{e}^{-t} \mathrm{d} t$$

F 分布

如果

$$X=\frac{U_{1} / d_{1}}{U_{2} / d_{2}}$$ $$f\left(x ; d_{1}, d_{2}\right)=\frac{1}{\mathrm{B}\left(\frac{d_{1}}{2}, \frac{d_{2}}{2}\right)}\left(\frac{d_{1}}{d_{2}}\right)^{\frac{d_{1}}{2}} x^{\frac{d_{1}}{2}-1}\left(1+\frac{d_{1}}{d_{2}} x\right)^{-\frac{d_{1}+d_{2}}{2}}$$

student’t 分布

$$X_{1}, \ldots, X_{n} \sim N\left(\mu, \sigma^{2}\right)$$

样本均值

$$\overline{X}=\frac{1}{n} \sum_{i=1}^{n} X_{i}$$

样本方差

$$S^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}$$

那么随机变量

$$Y=\frac{\overline{X}-\mu}{S / \sqrt{n}}$$

服从 $t$ 分布

$$f(t)=\frac{\Gamma\left(\frac{\nu+1}{2}\right)}{\sqrt{\nu \pi} \Gamma\left(\frac{\nu}{2}\right)}\left(1+\frac{t^{2}}{\nu}\right)^{-\frac{\nu+1}{2}}$$

参考

[1] https://en.wikipedia.org/wiki/Gumbel_distribution

[2] http://www.math.wm.edu/~leemis/2008amstat.pdf

[3] https://en.wikipedia.org/wiki/Categorical_distribution