小象学院深度学习笔记1(传统神经网络)

来源:互联网 发布:环形网络拓扑结构 编辑:程序博客网 时间:2024/05/21 15:49

神经网络起源于线性回归,是线性到非线性的转变

  即使损失大量特征,因为特征足够多不会对模型的特征获取有太多影响。

线性回归网络可以简化为一层,多个系数矩阵的相乘可以转化成一个系数矩阵

  

赋予不同参数不同的权重值;多目标任务例如目标检测,既要分类又要进行定位;不同的网络模型的loss值得融合,例如VGG+Google,每个网络模型相当于一个神经元。

竞赛和业界中的套路:各种net的ensemble。


对训练的任务不太清楚,推荐一开始采用fixed。


原来的速度维持一点,再和新的learning rate结合。防止变太多,从而导致收敛速度下降。动量和调大学习率的区别:动量是矢量叠加考虑得更多会有一个新的方向会更准,调大学习率没有改变方向。

和动量相比,先前一步算出来两者结合而来

             

课程链接:https://www.bilibili.com/video/av10324235/index_2.html#page=2


原创粉丝点击