极大似然法推导线性回归和逻辑回归代价(cost)函数
来源:互联网 发布:telnet终端软件 编辑:程序博客网 时间:2024/06/08 12:36
问题描述
现使用在Andrew-ng教程上的房价与房间面积的例子。
假设房价与房间面积之间存在着线性关系。
在实际的预测中,由于不可能找到所有影响房价的因素,因此无法完美准确的预测房价与房子大小的关系。我们勉为其难,只需要找到一个最近似的关系,所以只要把其他因素都看成是一些与房子大小无关的小噪声就好了。于是就得出:,其中的就是一些与房子大小无关的小噪声,可以用随机变量E来表示。这样就得到了:。
极大似然法解释
对于给定的数据集,我们可以把其中的数据看做是事实,而我们要做的工作就是得到参数为了使我们的模型更加接近事实,也就使得由数据集中的X得到对应的Y这件事发生的可能性最大。也即对于数据集中的数据D (Y, X),的值最大。显然对于每一组(x,y)他们之间是独立的。因此,对于一组数据(x,y),。
我们可以这样理解。对于一个输入X,事实表明结果为y,而通过我们的模型计算出的结果为,我们的模型结果和实际结果之间的差距是由于存在着一个随机小噪声,而要使我们的模型结果与实际结果相同,那么这个随机小噪声应当取值为。则。
具体推导
现在我们假设这个随机小噪声满足N(0,1)的高斯分布。那么。
则。
,其中。
要使得上式最大,就需要使得最小,这和线性回归的代价函数所表达的含义是一致的。
逻辑回归推导
说明:
接着上面对于线性回顾代价函数的推导。由于逻辑回归的输出即为其概率。因此这里使用极大似然法相对于线性回归来说更容易理解。则:,,则
。这里需要最大化上式,也就是最小化上式的相反数,即代价函数J。
0 0
- 极大似然法推导线性回归和逻辑回归代价(cost)函数
- 逻辑回归中代价函数求导推导
- 逻辑回归中代价函数求导推导
- 逻辑回归(代价函数,梯度下降) logistic regression--cost function and gradient descent
- #线性回归推荐#根据极大似然和样本分布情况 推导线性回归
- 线性回归和逻辑回归
- 线性回归和逻辑回归
- 线性回归和逻辑回归
- 线性回归和逻辑回归
- 线性回归-5-代价函数
- 线性回归和逻辑回归的损失函数
- 线性回归、逻辑回归、损失函数
- 线性回归、逻辑回归、损失函数
- 线性回归、逻辑回归、损失函数
- 机器学习笔记——逻辑回归模型及其代价函数推导
- 机器学习-逻辑回归-代价函数
- 机器学习-逻辑回归-代价函数
- 线性回归和逻辑回归(初探)
- 基于 OAuth 安全协议的 Java 应用编程1
- 查看iOS各版本占有率的网址
- Android 开发之 ContactListView App 仿联系人筛选
- windows server r2强制使用主题
- Oz制作CentOS镜像
- 极大似然法推导线性回归和逻辑回归代价(cost)函数
- Webrtc Intro - Compile Steps on Linux Generally
- 【转】计算机视觉、机器学习相关领域论文和源代码大集合
- 2015年7月15日天气晴朗星期三
- python中__init__,__call__学习
- 服务器突然断电导致SQL SERVER 2008 数据库状态为“可疑”的解决方法
- CocoaPods pod instal慢、卡住解决方法
- 大数据sql优化
- 虚拟存储器(1)——虚存概念及页、页表和地址翻译基础