机器学习中的代价函数

1、在线性回归中我们有一个像这样的训练集， m 代表了训练样本的数量，比如 m = 47。而我们的假设函数，也就是用来进行预测的函数，是这样的线性函数形式：

     

2、接下来为型选择合适的参数θ0 和 θ1，这两个参数称为模型参数。在房价问题这个例子中便是直线的斜率和在 y 轴上的截距。我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差（ modeling error）。

     

3、我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。 即使得代价函数最小。这个函数也叫线性回归的整体目标函数。

     

     也就是意味着得出θ0 和 θ1这两个参数，使得假设函数表示的直线尽量与下面红色的数据点很好的拟合。

     

4、代价函数也被称为平方误差函数，或平方误差代价函数。

5、平方误差代价函数是解决回归问题最常用的手段

6、采用梯度算法来自动地找出这些使代价函数 J 取最小值的参数 θ0 和 θ1 来。