机器学习基石系列五

来源:互联网 发布:js表格focus 编辑:程序博客网 时间:2024/05/29 09:53

线性回归

平方误差梯度

矩阵求导

这里写图片描述

线性回归解

求解方式PCA,SVD取决于X矩阵性质,特征值等

这里写图片描述

误差逼近

n足够大时,Ein与Eout的逼近保证了线性可学习

这里写图片描述

逻辑回归

  • sigmoid函数

这里写图片描述

  • 三种线性模型比较

这里写图片描述

逻辑回归优化方向

这里写图片描述

  • 梯度下降迭代优化

这里写图片描述

随机梯度下降

这里写图片描述

回归用于多分类

  • OVA:每次分出一类

这里写图片描述

  • OVO:每次区别两类,使用选举算法选择最终分类,避免不平衡

这里写图片描述

原创粉丝点击