机器学习小组知识点7：伯努利分布（Bernouli Distribution）

适用环境：伯努利分布是较为简单的一种分布，应用于两种实验结果。要么成功，要么失败，一定程度上是二元的性质。这里，我们假设成功的概率为 p ，显然失败的概率就变成了1−p。

概率公式可以表示为 f(x)=px(1−p)1−x ， x 为0或1，1代表成功，0代表失败。

接下来我们研究以下统计量，

1.数学期望

E(x)=E(x1)+E(x2)+⋯+E(xn)=x1p1+x2p2+⋯+xnpn=∑ni=1xnf(xn)

但是我们知道 x 只能取0或者是1，那么对于一个随机变量，

∑2i=1xif(xi)=1∗p+0∗(1−p)=p

2.方差

Var(x)=E(x2)−(E(x))2=E(x)−(E(x))2=p−p2=p(1−p)

3.最大似然估计与伯努利分布

还记得最大似然估计的假设吗？ 相互独立且同分布！那么有，

p(D|p)=ΠNi=1f(xi)=ΠNi1pxi(1−p)1−xi

又是一个连乘的式子，那么老办法用递增的函数 ln(x) ，则转化为，

lnp(D|p)=∑Ni=1xilnp+∑Ni=1(1−xi)ln(1−p)

然后求导得到

pML=1N∑Ni=1xi

这个就是伯努利分布的最大似然估计。

好玩的地方是，上式中，令 N <script type="math/tex" id="MathJax-Element-516">N</script>趋于无穷，那么结果怎么样？

感兴趣的同学可以看下大数定律。