【02】 机器学习(Standford)笔记 L02
来源:互联网 发布:网络报装 编辑:程序博客网 时间:2024/06/10 01:50
【02】监督学习-线性回归
- 监督学习
- 线性回归
- Gradient Descent(梯度下降)两种求解
1、LMS algorithm (Least Mean Squares)
2、the normal equaltion(正规方程法-矩阵的形式-主要是进行证明)
对于LMS方法:可以用batch GD 和 stochastic Gradient descent
监督学习
流程:(有标签样本训练,然后进行预测)
典型——线性回归
1、example 房价预测
- 训练样本
- 线性回归方程
- 代价函数(最小二乘代价函数)
注意得到代价函数是为了计算参数T的。
2、参数theta的用梯度下降法,两种得到Theta
- LMS algorithm
- the normal equations 正规化等式
Gradient descent
1 LMS Algo
计算参数theta的用梯度下降法
- Batch GD
Batch: 每一次计算GD都遍历所有的样本,对于大数据的计算,因为样本非常多,导致计算缓慢。 - Stochastic GD
Stochastic:可以将样本分开计算GD,不用遍历所有的整个样本,对于大数据的计算非常有用,计算快速。
方程:
batch GD
计算的时候,每一次迭代后收敛,得到参数theta,但比较缓慢。最后得到线性回归方程。
Stochastic GD
SGD收敛快,但是最后收敛到最优值的附近区域,虽然快速,但是没有BGD的精确。
【注意】
在计算梯度的时候,迭代是同时进行的:
2 The normal equation 正规化方程
矩阵知识,
- 矩阵微分
- 矩阵的迹
- 矩阵的转置
正规化方程的证明(计算Theta)
其中就用到了基本的矩阵知识!
总结
1 监督学习的一种——线性回归
2 梯度下降
3 计算参数Theta的方法及其证明
4 涉及了一些矩阵的基本知识
感谢Andrew老师的Machine Learning课程
0 0
- 【02】 机器学习(Standford)笔记 L02
- 【01】 机器学习(Standford)笔记01
- 【03】 机器学习(Standford)笔记 L03
- Standford 机器学习学习笔记 线性回归(Linear Regission)
- Standford机器学习 神经网络的学习(Neural Network Learning)
- Standford机器学习 神经网络的学习(Neural Network Learning)
- Standford机器学习 神经网络(Neural Network)的表示
- Standford NG机器学习 神经网络(Neural Network)的表示
- Standford 机器学习 线性回归(Linear Regission)
- Standford机器学习 神经网络(Neural Network)的表示
- Standford 机器学习—第三讲 Logistic Regression 逻辑回归
- Standford 机器学习—第四讲 神经网络的表示
- Standford 机器学习应用的建议及机器学习系统的设计
- Standford 机器学习应用的建议及机器学习系统的设计
- Standford机器学习 聚类算法(clustering)和非监督学习(unsupervised Learning)
- Standford机器学习 聚类算法(clustering)和非监督学习(unsupervised Learning)
- Standford机器学习 线性回归Cost Function和Normal Equation的推导
- Standford机器学习 逻辑回归(Logistic Regission)以及过拟合问题解决(Regularization)
- 牛某某动植物检疫徇私舞弊、贪污案
- 螺旋队列算法分析 .
- mac下配置NDK开发环境
- linux下使用lftp的小结
- AndroidStudio 快捷键
- 【02】 机器学习(Standford)笔记 L02
- 【课后作业】第五章概念总结 .
- Java的IO流架构
- 比较有技巧的设计思想
- spring 简单IOC测试
- Android 调用 Smart Framework构建的Rest服务
- 用velocity生成代码,中文乱码问题
- cocos2d-lua
- Linux下那些奇葩的命令