FPGA机器学习之龙星计划机器学习第十一堂

这一堂这样讲的是online  learning

就是边学，边预测，预测完后，在学的过程。

其实这里的totalerror更想test error。因为在线的推进变化，而且一直在预测，所以就没有学习错误和预测错误的区别。

第一个式子，我们希望的是所有的情况下，这个值是最小的。但是通常做不到。

我们就求一个regret就是我们预测的和实际最小的之间的误差。最小化。

这个是我们的预测算法。目的就是找到线性来分类，使他错误最小化。

感知器错误边界。为什么最大是r的负二次方。

时效性比较强。可以快速升级模型。优化是随机梯度下降法。

其实和上面是一样的。还是来一个，然后预测一个，然后在比对，学习，然后在预测下一个的过程。

最后求的一个我们预测的和实际最小情况的误差。

这里是一个线性回归的例子。l（w）是损耗函数。  然后t在增加，这么迭代下去。

w是它的权重向量，当有新的数据到来后，我们更新权重，就是下面的公式。梯度下降法。

和上面很像，但是这里的区别是每次只计算一个t。

这两个应用上的差别，不是很清楚。

这里的学习率，一般都是靠经验。没有算术方法。

l是线性回归，也是一直加起来。

从这几个公式来看，形式上还是比较相似的。只是用了双平均法求参数w。

这个很多人感兴趣。当然有利也有弊。

这个是2010年google的工作。这个多了一个H。H的意义不好解释。大概就是变化一会稀疏一会紧密。

怎么说呢？学习率会随着情况变化，这样学习的速度就更快些。

不稳定就是时上时下。如果大点还是会比较快的。

就是比较一下。其实都是比较相似的了。翻译一下就可以了。

这个比较新，到现在还在研究中的。

我能力有限，但是我努力学习，最快速度成就自己的奇迹。