机器学习初览2（单变量线性回归与代价函数）

单变量线性回归与代价函数

1.单变量线性回归

上一篇里面写到了无监督学习的方式之一回归，这里来研究下回归的最简单形式-———单变量回归

单变量回归：顾名思义，只有一个特征（输入），可以理解为一次函数（这个上过学的应该都知道吧），比如y=kx+b；

这里y就是标签（输出），x就是特征（输入），关系可以很直观的反应出来，但是，一次函数并不能保证所有的标签都准确的落在函数上，这就出现了预测值与实际值的误差，这个概念可以参考下马原对于价格的解释（商品的价格围绕价值上下波动）。这里展开来讨论，比如有3个点（x1,y1）,(x2,y2),(x3,y3)（假设3点不共线）.我们可以尝试用不同的k去带入，但是预测值与实际值肯定会存在误差，那么怎么求出误差呢。

这里引入第二个概念，代价函数。

2.代价函数

这个地方最好先把概率论的方差部分看一遍。比较普遍的代价函数的计算公式如下

方法为：实际值与预测值的和的平方，再取二分之一，得到这一组的代价函数。

下一步就是要求出最小的代价函数，来使误差最小。梯度下降，下一篇再写吧