统计学习方法笔记
来源:互联网 发布:指南针软件指标 编辑:程序博客网 时间:2024/05/18 00:17
1. 损失函数
4个损失函数看统计学习方法P7
期望,就是均值
极大似然估计(似然就是概率、可能性,所以也是极大可能性估计)
对数损失是用于最大似然估计的。一组参数在一堆数据下的似然值,等于每一条数据的概率之积。
而损失函数一般是每条数据的损失之和,为了把积变为和,就取了对数。
再加个负号是为了让最大似然值和最小损失对应起来
||w||是w的L2范数,w是个向量,L2范数是每个子项的平方和再开方
感知机
分类函数sign(x),输出是{-1,1},wx+b>0时,y=1,wx+b<0 时,y=-1,所以所有分类正确的
wx+b=0 是 超平面S,x0到 超平面的距离是 |wx0+b|/ ||w||,(回忆下点到直线ax+by+c=0的距离,点到平面ax+by+cz+d=0的距离)
损失函数是分类错误的点到超平面的距离,而分类错误的 y(wx+b)<0,所以-y(wx+b)>0,而wx+b>0时,y=1,wx+b<0 时,y=-1,
带入点到超平面距离公司,x0到 超平面的距离是 -y(wx+b)/ ||w||
后面的训练是 对w、b求偏导数,得到梯度表示,再加入个步长 ,就可以训练了
贝叶斯估计
截图不见了
0 0
- 统计学习方法笔记--第一章统计学习方法概论
- 统计学习方法笔记1--统计学习方法概论
- 《统计学习方法》阅读笔记
- [笔记]统计学习方法
- 《统计学习方法》学习笔记
- 统计学习方法~笔记1
- 统计学习方法笔记
- 《统计学习方法》--学习笔记
- 统计学习方法笔记 -- 概论
- 《统计学习方法》笔记-第一章
- 《统计学习方法》笔记一
- 统计学习方法笔记:决策树
- 《统计学习方法》笔记二
- 统计学习方法笔记
- 《统计学习方法》笔记三
- 统计学习方法笔记
- 《统计学习方法》学习笔记一
- 《统计学习方法》学习笔记二
- 穿透图片响应下层image事件
- 通过几个Hello World感受.NET Core全新的开发体验
- 守卫部署
- MySQL之【钻石】抢购风暴
- radio 判断一个元素是否被选中
- 统计学习方法笔记
- [Android Studio 权威教程]断点调试和高级调试
- Android事件分发机制
- 文件为只读模式,且无法更改权限
- Android apk瘦身
- Masonry 实践
- IT大公司面试流程与总结
- java提高篇(二五)-----HashTable
- 内核arch_initcall的实现及如何自定义initcall