稀疏的好處
来源:互联网 发布:money for mac 破解版 编辑:程序博客网 时间:2024/06/02 14:40
让我们的参数稀疏有什么好处呢?这里扯两点:
1)特征选择(Feature Selection):
大家对稀疏规则化趋之若鹜的一个关键原因在于它能实现特征的自动选择。
一般来说,xi的大部分元素(也就是特征)都是和最终的输出yi没有关系或者不提供任何信息的,在最小化目标函数的时候考虑xi这些额外的特征,虽然可以获得更小的训练误差,但在预测新的样本时,这些没用的信息反而会被考虑,从而干扰了对正确yi的预测。
稀疏规则化算子的引入就是为了完成特征自动选择的光荣使命,它会学习地去掉这些没有信息的特征,也就是把这些特征对应的权重置为0。
2)可解释性(Interpretability):
另一个青睐于稀疏的理由是,模型更容易解释。
例如患某种病的概率是y,然后我们收集到的数据x是1000维的,也就是我们需要寻找这1000种因素到底是怎么影响患上这种病的概率的。假设我们这个是个回归模型:y=w1*x1+w2*x2+…+w1000*x1000+b(当然了,为了让y限定在[0,1]的范围,一般还得加个Logistic函数)。通过学习,如果最后学习到的w*就只有很少的非零元素,例如只有5个非零的wi,那么我们就有理由相信,这些对应的特征在患病分析上面提供的信息是巨大的,决策性的。也就是说,患不患这种病只和这5个因素有关,那医生就好分析多了。但如果1000个wi都非0,医生面对这1000种因素,累觉不爱。
0 0
- 稀疏的好處
- 稀疏分解与稀疏重建的区别
- 稀疏矩阵的实现
- 稀疏矩阵的验证
- 稀疏矩阵的乘法
- 稀疏矩阵的乘法
- 信号的稀疏表示
- 稀疏矩阵的产生
- 稀疏问题的学习
- 稀疏信号的生成
- 稀疏矩阵的压缩
- 信号的稀疏表示
- 稀疏编码的解释
- 信号的稀疏表示
- 稀疏矩阵的操作
- 稀疏
- 我自己的稀疏矩阵
- python 稀疏数组的处理
- 笑谈设计模式(第二篇)
- Search in Rotated Sorted Array解题报告
- C++ 简单实现压栈出栈
- First calibration example - Corner extraction, calibration, additional tools (二)
- Reverse Rot Contest2073 - 湖南多校对抗赛(2015.04.06)G
- 稀疏的好處
- First calibration example - Corner extraction, calibration, additional tools(一)
- 《Python核心编程》第八章练习解析
- 网购秒杀系统的设计
- 17243 Huzi酱和他的俄罗斯套娃[C]
- Qt——qmake -query信息的由来
- sql(oracle) 查询树 记录
- OC学习之道:数据结构中几种常见的排序算法:选择排序,插入排序.快速排序
- 6.6.2 Java8中接口的定义