先验信息确定先验分布
无信息先验分布
- 贝叶斯假设
- 离散均匀分布
- 有限区间的均匀分布
- 广义分布
共轭先验分布
- 在已知样本的情况下，为了理论的需要，常常选择参数的分布为共轭先验分布
最大熵先验分布
- 无信息，意味着不确定性最大，故无信息先验分布应是熵最大所对应的分布
共轭先验下的后验分布
- 二项分布后验分布式二项分布
- 多项分布的后验是狄利克雷分布
最大似然估计，最大后验估计，贝叶斯估计
http://blog.163.com/silence_ellen/blog/static/1761042222014413112444364/
p(θ|X)=p(X|θ)p(θ)p(X)
后验概率=似然函数∗先验概率全概率
最大似然MLE
- 似然函数取到最大值时的参数值作为估计值，似然函数可以写做
l(θ)=p(X|θ)=∏x∈Xp(X=x|θ)
最大似然估计问题可以写成
θ^MLE=argmaxθ∑x∈Xlogp(x|θ)
这是一个关于的函数，求解这个优化问题通常对求导，得到导数为0的极值点。该函数取得最大值是对应的的取值就是我们估计的模型参数。
最大后验概率(MAP)
最大后验估计与最大似然估计相似，不同点在于估计的函数中允许加入一个先验
p(θ)
也就是说此时不是要求似然函数最大，而是要求由贝叶斯公式计算出的整个后验概率最大，即
θ^MAP=argmaxθp(X|θ)p(θ)p(X)
=argmaxθp(X|θ)p(θ)
=argmaxθ{l(θ)+logp(θ)}
=argmaxθ{∑x∈Xlogp(x|θ)+logp(θ)}
贝叶斯估计
http://blog.csdn.net/vividonly/article/details/50722042
贝叶斯估计和MAP挺像的，都是以最大化后验概率为目的。区别在于：
1）极大似然估计和MAP都是只返回了的预估值，就完事了
2）MAP在计算后验概率的时候，把分母p(X)给忽略了，在进行贝叶斯估计的时候则不能忽略
3）贝叶斯估计要计算整个后验概率的概率分布
p(θ|X)=p(X|θ)p(θ)p(X)
p(X)=∫p(X|θ)p(θ)dθ
这里有一个技巧，对于一个特定的likehood，如果我们选择了一个先验概率分布，
通过上面两个公式的计算，得出的后验概率和先验概率是同分布的，这时候我们说这个先验分布是共轭先验。
可以举几个例子：
likehood为高斯分布，prior为高斯分布，则posterior也为高斯分布
likehood为伯努利分布（二项式分布），prior为beta分布，则posterior也为beta分布
likehood为多项式分布，prior为Dirichlet分布（beta分布的一个扩展），则posterior也为Dirichlet分布
根据上面的描述，在实践中我们往往会选择共轭先验来简化。在把后验概率推导为和先验概率一样的分布形式的时候，分母p(X)其实可以看做一个常数，往往充当了一个normalize，归一化的作用。
求解的时候，既然我们根据先验分布知道了后验是什么分布，那我们求出后验分布的期望值，即是需要估计的参数的值：
p=E{θ|x}
知道了后验是什么分布，那么求这个分布的期望值应该不是什么难事。
- 结论
贝叶斯估计相对于最大后验估计的好处还在于，贝叶斯估计计算了整个后验概率的分布，从而也能求出其他一些比如分布的方差之类的值来供参考，比如计算出来方差太大的，我们可以认为分布不够好，从而把这个当做选择超参数的一个考虑因素。实际上，贝叶斯估计会比MAP把估计的结果往先验结果“拉”的程度还提高了一些，从而使估计结果更靠近先验结果。
beta分布和Dirichlet分布
- 二项分布的共轭是beta分布
- 多谢分布的共轭是Dirichlet分布
