机器学习 学习笔记

关于梯度下降算法的优化与：
会有三种方法优化梯度下降算法：
1. 共轭梯度下降法 (conjugate)
2. 变尺度法 (BFGS)
3. 限制变尺度法 (L - BFGS)

这些方法的好处是：
1. 不用选择学习速率
2. 收敛的速度快，执行效率高

但是她们的缺点在于：实现她们的方法太复杂，所以我们就可以使用语言的内置库函数去实现这些算法。我们需要做的就是把代价函数写出来，然后写一个给代价函数求导的代码，然后交给 ide 去执行这些东西就可以了，内部实现 呵呵呵。

对于多类分类算法 ：
我们使用一对多的算法 ：
就是将每一个x对应的预测这个值为真 （1） 的概率，然后对于每一个要预测的特征值，我们就可以将所有的预测值带入，然后取一个最大概率，将最大概率对应的那个预测值输出就是多类分类的做法。