机器学习小组知识点7：伯努利分布（Bernouli Distribution）

适用环境：伯努利分布是较为简单的一种分布，应用于两种实验结果。要么成功，要么失败，一定程度上是二元的性质。这里，我们假设成功的概率为$p$，显然失败的概率就变成了$1-p$。
概率公式可以表示为$f(x)=p^x(1-p)^{1-x}$，$x$为0或1，1代表成功，0代表失败。
接下来我们研究以下统计量，

1.数学期望

$E(x) = E(x_1)+E(x_2)+\cdots+E(x_n)=x_1p_1+x_2p_2+\cdots+x_np_n=\sum_{i=1}^n x_nf(x_n)$
但是我们知道$x$只能取0或者是1，那么对于一个随机变量，
$\sum_{i=1}^2x_if(x_i)=1*p+0*(1-p)=p$

2.方差

$Var(x)=E(x^2)-(E(x))^2=E(x)-(E(x))^2=p-p^2=p(1-p)$

3.最大似然估计与伯努利分布

还记得最大似然估计的假设吗？ 相互独立且同分布！那么有，
$p(D|p)=\Pi_{i=1}^Nf(x_i)=\Pi_{i_1}^Np^{x_i}(1-p)^{1-x_i}$
又是一个连乘的式子，那么老办法用递增的函数$ln(x)$，则转化为，
$ln p(D|p)=\sum_{i=1}^{N}x_ilnp+\sum_{i=1}^N(1-x_i)ln(1-p)$
然后求导得到
$p_{ML} = \frac{1}{N}\sum_{i=1}^Nx_i$
这个就是伯努利分布的最大似然估计。
好玩的地方是，上式中，令 N <script type="math/tex" id="MathJax-Element-516">N</script>趋于无穷，那么结果怎么样？
感兴趣的同学可以看下大数定律。