系统学习机器学习之神经网络(八) --ADALINE网络
来源:互联网 发布:佛山js防水材料 编辑:程序博客网 时间:2024/06/05 06:51
转自:http://www.jianshu.com/p/3c271d59b14c
自适应线性神经网络:ADAptive LInear NEuron (Adaline)
大纲
1. look --- 比Rosenblatt感知器算法的优势
2. write --- 吐槽实验结果
3. code --- python
对比Rosenblatt
憋说话,先上图 -.-
Rosenblatt的计算模型
Adaline的计算模型
找不同:激活函数用阶跃函数换成了连续型函数,用一个Quantizer函数(量化函数,类似AD采样)进行类别预测
激活函数:用线性函数代替阶跃函数进行误差计算和权值更新
量化函数:类似Rosenblatt模型的激活函数,能预测对应输入的类别
梯度下降最小化代价函数
- Adaline模型相比Rosenblatt模型,定义了代价函数(cost function),最小化代价函数是许多机器学习算法的主要思想。
- Adaline模型中,代价函数用的是均方误差(Sum of Squared Errors :SSE)
好处:可以微分,是凸函数
可以用梯度下降的方法找到均方误差最小的权值
可以用梯度下降的方法找到均方误差最小的权值
寻找最小均方误差就像下山一样,每次算法循环都相当于下降一步,下降一步的歩幅取决于学习率,与图中的权值点的切线斜率相关
每次权值逼近均方误差最小点的过程就是梯度下降(Gradient Descent)
证明一下偏导函数计算方法
最终的权值更新公式如下
Adaline算法是基于全部的训练数据,而感知器算法是每个样本都要计算一次误差,Adaline的处理方法有点像批处理的感觉。
Adaline的更新
self.w_[1:] += self.eta * X.T.dot(errors)
Perceptron的更新update = self.eta * (target - self.predict(xi))
学习率的影响和选择
学习率设置为0.01的时候,结果如左图,均方误差最小的点是第一个点,然后越来越大。当学习率设置为0.0001的时候,结果如右图,误差在逐渐减小,但是没有收敛的趋势。
学习率设置,偏大偏小都会大幅降低算法效率。采取的方法是进行数据标准化(standardization)公式如下
经过标准化的数据,会体现出一些数学分布的特点。标准化后,我们再次使用0.01的学习率进行训练分类。
最后的分类平面如下图
然后进入Coding环节~
# encoding:utf-8__author__ = 'Matter'import numpy as npclass AdalineGD(object): # 自适应线性神经网络:ADAptive LInear NEuron (Adaline) # -------- 参数 --------# # 参数1 eta:float 学习率 # 参数2 n_iter:int 循环次数 # -------- 属性 --------# # 属性1 w_:1d_array 拟合后权值 # 属性2 errors_:list 每次迭代的错误分类 # 初始化 def __init__(self,eta=0.01,n_iter=10): self.eta = eta self.n_iter = n_iter # 训练模型 def fit(self,X,y): self.w_ = np.zeros(1+X.shape[1]) self.errors_ = [] self.cost_ = [] for i in range(self.n_iter): output = self.net_input(X) errors = (y-output) self.w_[1:] += self.eta * X.T.dot(errors) self.w_[0] += self.eta * errors.sum() cost = (errors ** 2).sum()/2.0 self.cost_.append(cost) return self # 输入和权值的点积,即公式的z函数,图中的net_input def net_input(self,X): return np.dot(X,self.w_[1:]) + self.w_[0] # 线性激活函数 def activation(self,X): return self.net_input(X) # 利用阶跃函数返回分类标签 def predict(self,X): return np.where(self.activation(X)>=0.0,1,-1)
0 0
- 系统学习机器学习之神经网络(八) --ADALINE网络
- 系统学习机器学习之神经网络(六) --GrossBerg网络
- 系统学习机器学习之神经网络(九) --Hopfield网络
- 系统学习机器学习之神经网络(十) --BAM网络
- 机器学习(八):神经网络(1)
- 机器学习(八)前馈神经网络
- 系统学习机器学习之神经网络(十一) --TDNN
- 系统学习机器学习之神经网络(四) --SOM
- 系统学习机器学习之神经网络(五) --ART
- 系统学习机器学习之神经网络(七) --CPN
- 系统学习机器学习之神经网络(三)--GA神经网络与小波神经网络WNN
- 吴恩达神经网络和深度学习课程自学笔记(八)之机器学习策略
- 机器学习之神经网络
- 机器学习之神经网络
- 机器学习之神经网络
- 机器学习之神经网络
- 机器学习之神经网络
- 机器学习之神经网络
- JobScheduler使用中遇到的onStopJob没有回调的问题
- oracle 得到序列的当前值
- 一个强大的linux命令——find之xargs
- Codeforces 711D Directed Roads dfs(找环)
- web前端之精通dojo六:异步编程
- 系统学习机器学习之神经网络(八) --ADALINE网络
- 关于mac 终端的一些命令
- 调试iLogic Rule
- One or more constraints have not been satisfied.
- ios 计算有行间距的label的高度
- WebRTC学习之八:函数的异步执行
- 用Groovy思考 第二章 Groovy语言的关键特征
- Mac上使用Idea发热严重
- jQuery ajax - serialize() 方法