常见的不同概率分布
离散型随机变量的数字特征
连续型随机变量的数字特征
数学期望：\(E(X)=\sum_{i=1}^n x_ip_i\)
方差：\(D(X)=S^2=\frac1n\cdot\sum_{i=1}^n(X_i-\overline{X})^2\) 或者 \(D(X)=\sum_{i=1}^{n} P(X=X_i)\,(X_i-E(X))^2\)
标准差：\(\begin{aligned}\sigma(X)&=S=\sqrt{D(X)}\\&=\sqrt{\frac1n\cdot\sum(X_i-\overline{X})^2}\end{aligned}\)
极差：\(\max\left(X_1, X_2, \cdots,X_n\right)-\min\left(X_1, X_2, \cdots,X_n\right)\)
0x00 超几何分布
超几何分布是统计学上一种离散概率分布。它描述了从包含 \(M\) 个指定种类的物件的有限的 \(N\) 个物件中随机且不放回地抽出 \(n\) 个物件，其中有 \(X\) 个该指定种类的物件的概率。
符号描述：\(X\sim H(N,M,n)\)，也有地方写为 \(X\sim H(n,M,N)\)
模型举例：箱子里有 10 个白球、5 个红球，抽 3 次，抽出的红球个数为随机变量 \(X\)。
数学期望：\(E(X)=\frac{nM}N\)
方差：\(D(X)=n\frac MN\frac{N-M}N\frac{N-n}{N-1}\)
分布函数：\(P(X=k)=\frac{C_M^{\,k}\cdot\,C_{N-M}^{\,n-k}}{C_N^{\,n}}\quad(k=0,1,\cdots,\min(n,N))\)
拓展：设 \(\pi=\frac MN\)，则当 \(N \rightarrow +\infty\) 时，超几何分布 \(X\sim H(N,M,n)\) 转化为二项分布 \(X \sim B(n, \pi)\)。
0x01 几何分布
同样的实验独立进行 \(n\) 次，每次实验只可能有两种结果，且两种结果发生与否互相对立。事件发生的概率 \(\pi\) 在每一次独立实验中都保持不变。在此条件下，实验 k 次才成功的概率分布为几何分布。
符号描述：不可用
模型举例：某人连续射击目标靶，命中率为 0.4，直到击中才停止。则他最终射击的次数为随机变量 \(X\)。
数学期望：\(E(X)=\frac 1\pi\)
方差：\(D(X)=\frac{1-\pi}{\pi^2}\)
分布函数：\(P(X=k)=\pi\,(1-\pi)^{k-1}\quad(k=1,2,\cdots,n,\cdots)\)
0x02 二项分布
同样的实验独立进行 \(n\) 次，每次实验只可能有两种结果，且两种结果发生与否互相对立。事件发生的概率 \(\pi\) 在每一次实验中都保持不变，其最终的概率分布称为二项分布。当试验次数为 1 时，二项分布服从 0-1 分布（又称两点分布）。
符号描述：\(X\sim B(n,\pi)=X\sim B(n,\frac{M}{N})\)
模型举例：某人射击目标命中的概率是 0.7，则他开 10 枪命中的次数为随机变量 \(X\)。
数学期望：\(E(X)=n\pi\)
方差：\(D(X)=n\pi\cdot(1-\pi)\)
分布函数：\(P(X=k)=C_n^k\,\pi^k (1-\pi)^{n-k}\quad(k=0,1,\cdots,n)\)
两点分布
符号描述：\(X\sim B(1,\pi)\)
模型举例：抛一次硬币，抛出正面的概率是 0.5，则抛一次硬币抛出正面的次数为随机变量 \(X\)。
数学期望：\(E(X)=\pi\)
方差：\(D(X)=\pi\cdot(1-\pi)\)
分布函数：\[P(X=k)=\left\{\begin{array}{**lr**} \pi & (k=1) \\ 1-\pi & (k=0)\end{array}\right. \quad(k=0,1)\]
0x03 正态分布
正态分布（Normal Distribution），也叫高斯分布（Gaussian Distribution），是一种非常常见的连续概率分布。
随机变量 \(X\) 的概率密度曲线：组距无限小。是一个描述这个随机变量的输出值, 在某个确定的取值点附近的可能性的函数。
一点背景知识：\(\exp\left(x\right)=e^x\)
一维正态分布的概率密度曲线函数： \[ \begin{aligned}f(x)=\frac1{\sqrt{2\pi}\sigma}\cdot\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\end{aligned} \] 符号描述：\(X\sim N(\mu，\sigma^2)\)，其中 \(\mu\) 为期望，\(\sigma^2\) 为方差。
数学期望：\(E(X)=\mu\)
方差：\(D(X)=S^2=\sigma^2\)
累计分布函数：\(\begin{aligned}P(m \le X \le n)=\int_m^n f(x)\,\text{d}x\end{aligned}\)
当 \(\mu=0,\,\sigma=1\) 时为标准正态分布： \[ \begin{aligned}f(x)=\frac1{\sqrt{2\pi}}\cdot\exp\left(-\frac{x^2}{2}\right)\end{aligned} \] 此时 \(\begin{aligned}\Phi(x)=\frac1{\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{t^2}2}\,\text{d}t\end{aligned}\)
引入误差函数 \(\text{erf}(x)\)： \(\begin{aligned}\operatorname {erf}\left(x\right)&=\frac{1}{\sqrt\pi}\int_{-x}^xe^{-t^2}\,\text{d}t\\&=\frac2{\sqrt{\pi}}\int_0^xe^{-t^2}\,\text{d}t\end{aligned}\)
则可以将 \(\Phi(x)\) 简化为 \(^{[1]}\)： \[ \Phi(x)=\frac 12 \left[1+\operatorname{erf}\left(\frac{x}{\sqrt2}\right)\right] \] 对于非标准正态分布，可以通过设随机变量 \(\begin{aligned}Y=\frac{X-\mu}{\sigma}\sim N(0,1)\end{aligned}\) 转化为标准正态分布。这样就可以查表得到数值了。
0x03.1 正态分布的一些性质
在一定区间内取值的概率
也叫置信概率。
\((\mu-\sigma, \mu+\sigma)\approx68.27\%\)
\((\mu-2\sigma, \mu+2\sigma)\approx95.44\%\)
\((\mu-3\sigma, \mu+3\sigma)\approx99.73\%\)
\((\mu-4\sigma, \mu+4\sigma)\approx99.99\%\)
（长尾理论）
运算性质
性质1. 因为根据 \(E(X)\) 和 \(D(X)\) 的性质，有： \[ E(aX+b)=a\cdot E(X)+b \]
且
\[ \begin{aligned}D(aX+bY)&=a^2D(X)+b^2D(Y)+2ab\operatorname{cov}(X,Y) \\ \Rightarrow D(aX+b)&=a^2D(X)+b^2D(1)+2ab\operatorname{cov}(X,1) \\ &=a^2D(X)+b^2\cdot0+2ab\cdot 0 \\ &=a^2D(X) \end{aligned} \]
\(\operatorname{cov}(X,Y)\) 为 \(X\) 和 \(Y\) 的协方差：
\[ \begin{aligned}\operatorname{cov}(X,Y)&=E((X-E(X))(Y-E(Y)))\\&=E(X\cdot Y)-E(X)E(Y)\end{aligned} \]
当 \(X\) 和 \(Y\) 独立时，\(\operatorname{cov}(X,Y) = 0\)。
所以得出结论： \[ \therefore \forall\,a,b\in \mathbb{R},\,aX+b\sim N(a\mu+b,a\sigma^2) \]
性质2. 对于两个服从正态分布的互相独立的随机变量 \(X\sim N(\mu_1,\sigma_1^2)\) 和 \(Y\sim N(\mu_2,\sigma_2^2)\)，存在： \[ U=X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2) \] \[ V=X-Y\sim N(\mu_1-\mu_2,\sigma_1^2+\sigma_2^2) \] （没打错，\(U\) 和 \(V\) 的方差确实都是 \(\sigma_1^2+\sigma_2^2\)）
如果 \(\sigma_1^2=\sigma_2^2\)，那么 \(U\) 和 \(V\) 是相互独立的。\(^{[2]}\)
Citation:
[1]: https://zh.wikipedia.org/wiki/%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83 "正态分布 - 维基百科，自由的百科全书"
[2]: https://baike.baidu.com/item/%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83#4 "正态分布_百度百科"