一、神经网络相关概念

来源：互联网发布：任意门软件下载编辑：程序博客网时间：2024/06/01 23:54

本文是针对图书《神经网络与机器学习》中文版和国立台湾大学林轩田老师《机器学习》课程的总结笔记，内容方面既有对于该课程的理解又有对于该课程的参考，不足之处颇多，还希望大家阅后不吝赐教。

1. 感知机、sigmoid神经元与逻辑回归之间的关系

1.1 感知机

感知机是由科学家Frank Rosenblatt发明于1950至1960年代，它受到了Warren McCulloch 和Walter Pitts的更早工作的启发。其具体结构如图1所示

图1. 感知机结构示意图

其中的 x 是感知机的输入，一个感知机还可以有更多的输入，但这些输入都必须是二进制的输入；w1,w2 是表示各个输入对于输出的重要程度，称为权重。
感知机的输出是1还是0主要通过下式进行判断

o u t p u t = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ 0 i f \sum j w j x j \leq t h r e s h o l d 1 i f \sum j w j x j > t h r e s h o l d

我们可以将感知机的书写方法进行简化，首先将上式中的求和运算用向量相乘的形式进行表示，其次用偏移值

b (bias)来代替阈值threshold，于是感知机的表达形式可以写成如下的形式

o u t p u t = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ 0 i f \sum j w j x j + b \leq 0 1 i f \sum j w j x j + b > 0

从上式可以明显的看出偏移值b是一种对神经元被激活程度的度量。当然一个感知机也可以通过构复杂的网络构成更精细的决策方式。

1.2 sigmoid神经元

sigmoid神经元与感知机相比做了一些修改，使得它在轻微改变其权值和偏移时只会引起小幅度的输出变化，进而防止轻微改变网络中任何一个感知机的权值或偏移有时甚至会导致感知机的输出完全翻转，并且可能以某种非常复杂的方式彻底改变网络中其余部分的现象出现。
sigmoid神经元的具体形式如图2所示

图2. sigmoid神经元结构示意图

它的数学表达形式为

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ z = \sum j w j x j + b a = 1 1 + e - z

其中sigmoid函数的图像及阶梯函数（阶跃函数）的图像如图3所示

图3. sigmoid函数图像及阶梯函数（阶跃函数）图像

将sigmoid神经元中的sigmoid函数换为阶梯函数（阶跃函数）即可以得到之前介绍的感知机，因此感知机与sigmoid神经元是十分相似的。不同的地方在于sigmoid函数使我们就得到了一个平滑的感知机，也正是因为这个平滑的感知机使得选择权值(w)和偏移(b)的轻微改变量并使输出按照预期发生小幅度变化成为易事。

未完待续……

阅读全文

0 0