概率图几种模型的简介和比较
来源:互联网 发布:沈阳原画网络培训机构 编辑:程序博客网 时间:2024/06/10 09:39
基础知识
G(V,E):变量关系图
V:顶点or节点,表示随机变量
E:边or弧
两个节点邻接:两个节点之间存在边,记为Xi ~Xj ,不存在边,表示条件独立。
路径:若对每个i,都有Xi-1 ~ Xi ,则称序列(X1, X2 ... XN )是一条路径。
几种概率图模型:
- 朴素贝叶斯分类器(NBs:Naive Bayes)
- 最大熵模型(MEM:Maximum Entropy Model)
- 隐马尔可夫模型(HMM:Hidden Markov Models)
- 最大熵马尔可夫模型(MEMM:Maximum Entropy Markov Model)
- 马尔可夫随机场(MRF:Markov Random Fields)
- 条件随机场(CRF:Conditional Random Fields)
1.NBs
贝叶斯定理
一般来说,x已给出,P(x)也是一个定值(虽然不知道准确的数据,但因为是恒值,可以忽略),只需关注分子P(x|yi)P(yi)。P(yi)是类别yi的先验概率,P(x|yi)是x对类别yi的条件概率。
贝叶斯定理说明了可以用先验概率P(yi)来估算后验概率P(x|yi)。
贝叶斯分类器
贝叶斯网络(Bayesian Network)
概率图示意
每个节点的条件概率分布表示为:P(当前节点|它的父节点)。
联合分布为:
举例:
联合分布为
2.MEM
概率图示意
最大熵推导过程省略,直接给出最后的模型公式——指数形式
其中是归一化因子
3.HMM
概率示意图
状态序列和观察序列的联合概率
4.MEMM
概率图示意
状态yi 的条件概率公式(每个i 的状态输出都服从最大熵的指数模型)
5.MRF
其中表示与yi有边相连的节点。
其中表示一个团(clique)Yc的势能,以上公式也可以具体写成
其中Z是归一化因子,是对分子的所有ys = y1, y2,…, yn 求和得到。T是个温度常数(一般取1)。U(y1, y2,…, yn)一般称为能量函数(energy function),定义为在MRF上所有团势(clique-potential)之和。
6.CRF
一阶链式CRF示意图(不同于隐马尔科夫链,条件随机场中的xi 除了依赖于当前状态,还可能与其他状态有关)
令 X=(x1, x2,…, xn)表示观察序列, Y=(y1, y2,…, yn)是有限状态的集合。根据随机场的基本理论,无向图中关于顶点的标记条件概率
其中归一化因子
以上的是状态函数和转移函数的统一表达形式。
几种比较
条件随机场和隐马尔科夫链的关系和比较
- 不同点:观察值xi不单纯地依赖于当前状态yi,可能还与前后状态有关;
- 相同点:条件随机场保留了状态序列的马尔科夫链属性——状态序列中的某一个状态只与之前的状态有关,而与其他状态无关。(比如句法分析中的句子成分)
MRF和CRF的关系和比较
1 0
- 概率图几种模型的简介和比较
- 概率图几种模型的简介和比较
- 最好的概率图模型简介
- 概率图模型: Coursera课程资源分享和简介
- 概率图模型: Coursera课程资源分享和简介
- 概率图模型: Coursera课程资源分享和简介
- 8-概率主题模型简介
- CRF和MRF概率模型的关系
- DOM模型和流模型的比较
- 概率主题模型简介,LDA基本思想
- 0X000000ED这个故障和硬盘有关系,系统概率比较大,硬盘真坏的概率比较小
- 概率图模型的讨论
- 概率图模型的基本知识
- 常见的概率分布模型
- 高尔顿钉板概率模型的实现
- 概率图模型的学习
- Ruby和JavaScript对象模型的比较
- Erlang和Java的内存模型比较
- JAVA日志框架
- POJ 1961 Period(KMP)
- 二维数组打印
- UNIX网络编程(卷I)环境搭建
- java redis
- 概率图几种模型的简介和比较
- 放弃WebView,使用Crosswalk做富文本编辑器
- HTTP中Get与Post的区别
- jquery下的ajax跨域问题
- C++ explicit关键字
- 分享一个 四级联动 数据库
- FastDFS与Raid思考
- linux 快捷键ctrl+r
- Android Studio 获取数字签名信息