[ML笔记]模型表示与代价函数

引导

线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的最好那个训练函数（代价函数）即可。

模型表示

表示 含义 x(i) 输入变量 y(i) 输出变量 (x(i),y(i)) 一个训练实例 (x(i),y(i);i=1,.....m 一个训练集 m 训练集个数

假设函数(hypothesis)指从训练集得到一个较好的预测x->y的函数。

单变量线性回归

单变量线性回归是指只有一个变量x。线性回归的函数为线性函数，即直线函数；
单变量线性回归模型
hθ(x)=θ0+θ1x
我们将x称为feature，hθ(x)称为hypothesis,假设函数。

代价函数

通过代价函数，我们可以计算得到最优解的hypothesis函数。
代价函数公式
J(θ0,θ1)=12m∑m1(Ｙi−yi)2=12m∑m1(hθ(xi)−yi)2
h(x)即为假设函数，y假设为真实函数，m为训练集个数

每个训练集与输出变量的差方的和越趋近于0，则假设函数和真实函数越相近。因此代价函数的最优解在于计算代价函数最小值。

先从简单的来看，假设hypothesis函数为：
hθ(x)=θ1x
函数图为：

图中红色的X代表样本真实数据

假设θ1=1，我们通过代价函数公式，可以计算得出：
12∗3∗((1−1)2+(2−2)2+(3−3)2)=0
假设θ1=0.5，我们通过代价函数公式，可以计算得出：
12∗3∗((1−0.5)2+(2−1)2+(3−1.5)2)≈0.58
假设θ1=0，则可以计算得出：
12∗3∗((1−0)2+(2−0)2+(3−0)2)≈2.33
。。。。。

根据数据集，我们可以基本绘制出代价函数图形如下：

因此，代价函数在θ1=1的时候是最优解（最小值）。

代价函数进阶

如果参数更为复杂时 ，比如θ0，θ1时，轮廓图就是一个三维图像，轮廓图可能如下，我们还是可以找到代价函数的最小值。

轮廓图如果用二维图表示，则如下图中右图所示，在一条等高线上J(θ0，θ1)相同。

声明

图侵删。