机器学习笔记（一）

机器学习笔记（1,2课）

一.线性回归模型
1.数学模型

对于一个具体的问题，x1,x2….是我们所选取的特征，h(x)是我们所建立的模型，其中有n+1个参数。
我们希望所建立的数学模型可以很好的刻画实际问题，而我们所拥有的就是训练数据集。很自然的，我们希望数学模型可以较好的表述训练数据集的情况。虽然对训练数据的拟合情况好不一定就意味着能够很好的预测未知，但是如果对训练数据预测性能很差，那么这样的模型肯定是不合理的。因此，选取

作为损失函数，我们的目的是使得上式最小。
2. 求解方法
经过上面的数学建模，我们已经将问题转换成了求解最优化的问题。求解这里的最优化问题有以下几种方法或者说手段：
1）梯度下降法

梯度的方向指向上升最快的方向，使用这种方式，可以迭代求得使得J最小。
对于上面这句话，现在我的理解是这样的：

如果用等值面的角度来看，那么梯度的方向一定是垂直于等值线的，这个从图中也很容易看出：

总之，自变量沿着梯度的反方向变化，一定是使得输出趋近极小值的最快的途径。
2）闭式解法
这种方法是用矩阵的形式表达

这里用到的数学技巧是：用矩阵的形式表达平方求和。对于类似的求和形式，往往都可以用矩阵的形式来进行简洁的表达。
用矩阵的形式表达之后，接下来就是利用矩阵求导的相关数学知识去求解的极小值。求解过程讲义中有比较全的过程，需要注意的数学技巧：
Tr(a)=a
a的转置=a
一个实数的求迹运算和转置都是自己。在机器学习相关的数学推导中，常常有a=ABC的形式。此时，就可以利用上面的数学技巧去对数学式进行变换求解。