吴恩达机器学习笔记(3)非线性问题
来源:互联网 发布:知乎 甲醇 燃料电池 编辑:程序博客网 时间:2024/06/08 12:20
非线性问题-多项式
- 假设一个线性不可分问题,我们可能设计分类界面如下:
g(θ)=θ0+θ1x1+θ2x2+θ3x1x2+θ4x21x2+...
对于一个n维特征问题,只考虑两个参数相乘的情况,则相加的项的数目为O(n2) 。模型太复杂并且易于过拟合
神经网络
神经网络的目标函数
盛行于80s和90s。参照逻辑回归的代价函数,神经网络的代价函数如下,K为类别数,
(9-2)推导bp的梯度
简化目标函数为:
网络结构和参数设置
- 以四层网络为例:
a(1)(=x)−>z(2),a(2)−>z(3),a(3)−>z(4),a(4) θ(l) 为第l-1层到第l层的参数,a(l)0 为第l层的偏置参数
前向和反向计算
前向
第1层:a(1)=x
第2层:z(2)=θ(1)a(1),a(2)=g(z(2))+a(2)0
第3层:z(3)=θ(2)a(2),a(3)=g(z(3))+a(3)0
第4层:z(4)=θ(3)a(3),a(4)=g(z(4)) 反向
δ(l)j 表示第l层第j个节点的error
第4层:δ(4)=a(4)−y
第3层:δ(3)=(θ(3))Tδ(4).∗g′(z(3))
第2层:δ(2)=(θ(2))Tδ(3).∗g′(z(2)) 训练
设置: 对于所有的{i,j,l} . 初始化Δ(l)ij=0
计算每一层的δ ,更新:Δ(l)ij:=Δ(l)ij+a(l)jδ(l+1)i
计算Dlij :Dlij=1mΔ(l)ij+λθ(l)ij,ifj≠0 Dlij=1mΔ(l)ij,ifj=0
则:aaθ(l)ijJ(θ)=Dlij learning curves
横坐标为训练集的大小(train_set_size),做坐标为错误率(error rate)
阅读全文
0 0
- 吴恩达机器学习笔记(3)非线性问题
- 机器学习-最小最大模块化学习非线性问题
- 机器学习笔记-非线性变换(Nonlinear Transformation)
- 【机器学习基础】非线性变换
- 【机器学习基础】非线性变换
- 【机器学习基础】非线性变换
- 机器学习(非线性回归)
- 听课笔记(第十二讲): 非线性转换 (台大机器学习)
- 【R笔记】R机器学习(二)——非线性回归
- 机器学习中的线性和非线性判断
- 机器学习【2】(三)非线性回归
- 机器学习:空间变换进行非线性分类
- 机器学习实战【6】(非线性SVM)
- 机器学习之SVM(二) 非线性情况
- 【机器学习】非线性回归算法分析
- Python3《机器学习实战》学习笔记(九):支持向量机实战篇之再撕非线性SVM
- 机器学习-笔记3
- MatLab建模学习笔记8——非线性规划问题求解
- Mysql导入大容量SQL报错修改配置文件
- Qt学习之Qt控件的介绍
- MySQL设置允许导入Sql文件的大小
- C# 支持foreach
- Lucene(1)
- 吴恩达机器学习笔记(3)非线性问题
- 几种常用设计模式
- 删除小写字母字符串中重复字符
- 基于Swift的iOS应用程序开发:获得屏幕点击的坐标
- 支付宝支付Java代码
- 【Java集合源码剖析】Java集合框架概述
- SpringMVC 控制器默认支持GET和POST两种方式
- ios 解析html内容
- 机器学习 之 Haar特征