Standford机器学习 线性回归Cost Function和Normal Equation的推导
来源:互联网 发布:3g网络速度 编辑:程序博客网 时间:2024/06/09 20:29
1.线性回归CostFunction推导:
在线性回归中,Cost Function是,关于这个公式的推导,首先由一个假设,其中满足高斯分布,.
那么根据得出在这里,把看成是随机变量,那么服从高斯分布,,对于给定的X,theta要估计y的分布是怎么样的,极大似然估计函数为:
就是使得上式中的最小,即这个式子就是线性回归中的CostFunction J(theta),梯度下降的最终目标即是要最小化这个函数。
2. 线性回归中的NormalEquation的推导
Andrew Ng讲的推导过程有点复杂,不知道他的思维过程是怎么样的。下面我用线性代数的方法来推导下NormalEquation。
通常给定一个线性方程,要满足这个方程有解的条件是向量y在X的列向量张成的空间中。另外,对X的列向量进行线性变换即,得到的向量一定是X的列空间中的。
现在这个问题中,样本的输入可以组成一个矩阵,现在要求解,找到这样的一个,很明显,在大多数情况下这个方程是没有解的,原因是向量y不一定在X的列向量空间中。最小二乘法就是要在X的列向量空间中找到一个向量 ,使得这个向量和向量y的error最小。,即,请看下图:
很明显,error最小的情况是找到y在X的列空间中的投影,它们的差值是最小的,那么就是我们要求解的,而且这个方程必定有解,那么如何找到这个投影呢?
由于向量error和X的列空间是垂直的,所以error和X的所有列向量垂直,,ci是X的每一个列向量,所以,表示成矩阵的形式
所以,所以可以推导出,X不是一个nbyn的矩阵,所以不能写成
其中可逆的充要条件是X的列向量不相关,这个可以自己推导下。所以在特征选取的时候不能选择一些线性相关的特征。
Ps:上面的图太难看了,请见谅,不知道有没有好点的画图软件
- Standford机器学习 线性回归Cost Function和Normal Equation的推导
- 机器学习笔记02:多元线性回归、梯度下降和Normal equation
- Standford 机器学习学习笔记 线性回归(Linear Regission)
- Standford 机器学习 线性回归(Linear Regission)
- 线性回归--正规方程Normal Equation
- Normal Equation推导
- Normal Equation推导
- 极大似然法推导线性回归和逻辑回归代价(cost)函数
- 关于线性回归:梯度下降和正规方程(gradient descend、normal equation)
- Standford 机器学习—第一讲 Linear Regression with one variable(单变量线性回归)
- Standford 机器学习—第二讲 Linear Regression with multiple variables(多变量线性回归)
- 【机器学习】线性回归和逻辑回归的理解
- 机器学习:线性回归和逻辑回归的区别
- 线性回归 numpy normal equation & tensorflow gradient descent
- 机器学习(三)- normal equation
- 机器学习--- 一元线性回归数学推导以及Python实现
- 从零开始机器学习001-线性回归数学推导
- 机器学习——线性回归中正规方程组的推导
- 光本质猜想
- hdu-1148
- UVa 147
- 技术普及帖:你刚才在淘宝上买了一件东西
- WInSAR---美国西部insar数据
- Standford机器学习 线性回归Cost Function和Normal Equation的推导
- HDU1047(大数相加)
- 热的本质
- [总结]扩展欧几里德
- Spring IOC
- 校园迷宫-rqnoj-195
- 敏捷开发-快速迭代
- 关于文件的写入与读取
- 关于Linux的进程和线程