Boost家族
来源:互联网 发布:js轮流显示和隐藏div 编辑:程序博客网 时间:2024/06/08 13:30
大师Yoav Freund在文章《A decision-theoretic generalization of on-line leanring and an application to boosting》
AdaBoost.M1(adaBoost的多分类版本)
—————————————————————————————————————————————————————
设序列,其中为的标签,,且,,服从分布,设为循环次数(弱分类器的个数)。
初始化序列的权重,,
:
1.归一化:
。
2.按照概率分布,对序列进行抽样分布,形成第次循环的训练数据集,得到弱分类器:。
3.计算弱分类器在数据集的错误率,如果,令,且跳出循环。
4.令(注:)。
5.令新的权重:
。
(注:我们发现对于分类正确的序列,它的权重减少,分类错误的序列,权重增大)
循环结束后,输出分类器映射:
。
_______________________________________________________________________________________________________________________________
________________________________________________________________________________________________________________________________
大师 JerRome Friedman、Tervor Hastie、Robert Tibshirani在文章《Additive Logistic Regression :a Statistical View of Boosting》,对AdaBoost.M1的二分类版本,做了更加清晰的描述。即:
Discrete AdaBoost(二分类)
—————————————————————————————————————————————————————
设序列,其中为的标签,,且,,服从分布。
1.初始化:是均匀分布,即的权重,。
2.:
(a):按概率分布对序列进行抽样分布,形成该次循环的训练数据集,然后得到弱分类器。
(b):计算错误率,并计算。
(c):令,,然后归一化
使得,并令。
【注:我们发现错分的样本,在下一次迭代中,权重增大】
3.输出分类器:。
—————————————————————————————————————————————————————
________________________________________________________________________________________________________________________________
Real AdaBoost是Robert E. Schapire和 Yoram Singer在文章《Improved Boosting Algorithms Using Confidence-rated Predictions》中提出的,我们以下还是采用《Additive Logistic Regression :a Statistical View of Boosting》中Real Adaboost的二分类情况。
Real AdaBoost(二分类):
设序列,其中为的标签,,且,,服从分布。
1.初始化:是均匀分布,即的权重,。
2.:
(a):按概率分布对序列进行抽样分布,形成该次循环的训练数据集,利用Logistic Regression(逻辑回归)拟合,得出概率
。
【注:Logistic Regression是怎么做预测的?
当时,的标签是,
当时,的标签是】
(b):令,是数据集的分类器。
【注:分析,我们发现
,的标签是;
,的标签是,
所以,作为数据集的分类器
】
(c):令,,然后归一化, 使得,并令。
分析,分为两种情况讨论,
第一种情况:
如果,那么,
如果的标签,即正确分类,,显然减小。
如果的标签,即错误分类,,显然增大。
第二种情况:
如果,那么,
如果的标签,即错误分类,,显然增大。
如果的标签,即正确分类,,显然减小。
】
3.输出分类器:。
- Boost家族
- 家族
- 家族
- 家族
- 家族
- 家族
- 家族
- 家族
- VA家族
- SQL家族
- Watir 家族
- UNIX家族
- Watir 家族
- 施耐德家族
- 802.11 家族
- scanf 家族
- printf 家族
- WebSphere家族
- linux内核2.6.3x--Power management and ACPI options
- AmdIntelPXv0.4beta
- Idea 13.1.3无法启动Tomcat 8.0.8
- android 推送详细介绍
- Android中AsyncTask的简单用法
- Boost家族
- Java片段 Java中Double和Long互相转换
- android中点击空白处隐藏软键盘
- Unicode字符集
- Android4.3模拟器界面中右侧菜单按钮无法使用问题解决办法
- 滞留火车站
- eclipse修改web项目部署路径
- opcode学习网址
- linux内核2.6.3x--Device Drivers