logistic回归和softmax回归
来源:互联网 发布:什么是淘宝网店代理 编辑:程序博客网 时间:2024/06/02 08:55
logistic回归
在 logistic 回归中,我们的训练集由 个已标记的样本构成:。由于 logistic 回归是针对二分类问题的,因此类标记 。
假设函数(hypothesis function):
代价函数(损失函数):
假设函数就相当于我们在线性回归中要拟合的直线函数。
softmax回归
在 softmax回归中,我们的训练集由 个已标记的样本构成:。由于softmax回归是针对多分类问题(相对于 logistic 回归针对二分类问题),因此类标记 可以取 个不同的值(而不是 2 个)。我们有 。
对于给定的测试输入 ,我们想用假设函数针对每一个类别j估算出概率值 。也就是说,我们想估计 的每一种分类结果出现的概率。因此,我们的假设函数将要输出一个 维的向量(向量元素的和为1)来表示这 个估计的概率值。 具体地说,我们的假设函数 形式如下:
- 假设函数:
- 其中 是模型的参数。请注意 这一项对概率分布进行归一化,使得所有概率之和为 1 。
为了方便起见,我们同样使用符号 来表示全部的模型参数。在实现Softmax回归时,将 用一个 的矩阵来表示会很方便,该矩阵是将 按行罗列起来得到的,如下所示:
- 代价函数:
- 是示性函数,其取值规则为
值为真的表达式
值得注意的是,logistic回归代价函数是softmax代价函数的特殊情况。因此,logistic回归代价函数可以改为:
- 一点个人理解:
为什么二分类中参数只有一个,而k分类中参数却有k个。
其实二分类中的是y=1情况下的参数,而y=0情况下其实未给出参数,因为y=0的假设函数值可以通过1-(y=1的假设函数值)得到。同理,k分类中参数其实只需要k-1个参数就可以了,多余的一个参数是冗余的。
具体冗余参数有什么负面影响,参考Softmax回归 http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
- logistic回归和softmax回归
- 机器学习--logistic回归和softmax回归
- logistic回归和softmax回归几个文章
- Logistic and Softmax Regression (逻辑回归和Softmax回归)
- Logistic and Softmax Regression (逻辑回归和Softmax回归)
- Softmax回归与Logistic回归
- Logistic回归与Softmax回归
- 机器学习(1)--logistic回归和softmax回归
- 线性回归和logistic回归
- logistic回归和logic回归
- logistics回归和softmax
- 线性回归,logistic回归和一般回归
- 线性回归,logistic回归和一般回归
- 线性回归,logistic回归和一般回归
- 线性回归,logistic回归和一般回归
- 回归总结,logistic,一般线性,softmax回归等
- Logistic回归、softmax回归以及tensorflow实现MNIST识别
- 机器学习->监督学习->logistic回归,softMax回归
- spring事物配置不能回滚
- Permutation Sequence
- Linux系统编程----僵尸进程
- 大数据系列修炼-Scala课程61
- 总结 XSS 与 CSRF 两种跨站攻击
- logistic回归和softmax回归
- jquery中ajax处理跨域的三大方式
- C/C++常识
- 手把手教你设计短信验证码
- 大数据系列修炼-Scala课程62
- 使用递归将二维资源数据转换成json的例子-java
- JavaScript强化教程——Bootstrap
- 一分钟了解负载均衡的一切
- 分形插值