最大似然估计和最大后验概率
来源:互联网 发布:php set array keys 编辑:程序博客网 时间:2024/06/08 19:04
极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为,参数是客观存在的,只是未知而矣。因此,频率派最关心极大似然函数,只要参数求出来了,给定自变量X,Y也就固定了,极大似然估计如下所示:
D表示训练数据集,是模型参数
相反的,贝叶斯派认为参数也是随机的,和一般随机变量没有本质区别,正是因为参数不能固定,当给定一个输入x后,我们不能用一个确定的y表示输出结果,必须用一个概率的方式表达出来,所以贝叶斯学派的预测值是一个期望值,如下所示:
其中x表示输入,y表示输出,D表示训练数据集,是模型参数
该公式称为全贝叶斯预测。现在的问题是如何求(后验概率),根据贝叶斯公式我们有:
可惜的是,上面的后验概率通常是很难计算的,因为要对所有的参数进行积分,不能找到一个典型的闭合解(解析解)。在这种情况下,我们采用了一种近似的方法求后验概率,这就是最大后验概率。
最大后验概率和极大似然估计很像,只是多了一项先验分布,它体现了贝叶斯认为参数也是随机变量的观点,在实际运算中通常通过超参数给出先验分布。
从以上可以看出,一方面,极大似然估计和最大后验概率都是参数的点估计。在频率学派中,参数固定了,预测值也就固定了。最大后验概率是贝叶斯学派的一种近似手段,因为完全贝叶斯估计不一定可行。另一方面,最大后验概率可以看作是对先验和MLE的一种折衷,如果数据量足够大,最大后验概率和最大似然估计趋向于一致,如果数据为0,最大后验仅由先验决定。
参考资料:
[1] Machine learning: a probabilistic perspective 第三章
[2] Andrew Ng讲义 Regularization and model selection
http://blog.sciencenet.cn/blog-520608-703219.html
- 最大似然估计和最大后验概率估计
- 最大似然估计和最大后验概率
- 最大似然估计和最大后验概率
- 最大似然估计和最大后验概率
- 最大似然估计(MLE)和最大后验概率估计(MAP)
- 最大似然估计和最大后验概率估计的区别
- 极大似然估计 最大后验概率估计
- 最大似然估计与最大后验概率
- 先验概率、后验概率与最大似然估计
- 先验概率、后验概率、最大似然估计
- 先验概率/后验概率/最大似然估计
- 通俗理解最大似然估计,最大后验概率估计,贝叶斯估计
- 先验概率、最大似然估计、贝叶斯估计、最大后验概率
- 先验概率、最大似然估计、贝叶斯估计、最大后验概率
- 最大似然估计和最大后验估计
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计(MLE)和最大后验概率(MAP)
- 系统编程之进程篇
- Struts 2的调试与性能分析功能
- Hibernate Architecture
- javax.imageio.ImageIO.read(file) 内存溢出
- 史上最浅显易懂的Git教程!
- 最大似然估计和最大后验概率
- 强大的Oh my Zsh
- ejb3.0学习之一:无状态会话bean开发
- 【每天一个linux命令】11. Linux配置环境变量/etc/profile .bashrc .bash_profile等
- C#调用Oracle存储过程分页
- 数据结构 1
- H3C路由器动态NAT配置步骤全解析
- 天乙社区登录功能分析(一)
- WPF DataGrid foreground 绑定问题