Python实现第一个神经网络

步骤：
1、输入层、隐含层、输出层初始化
X=np.array([[0,0,1],
[0,1,1],
[1,0,1],
[0,1,1]])
y=np.array([[0,0,1,1]]).T
np.random.seed(1)
syn0=2*np.random.random((3,1))-1’
2、前馈传递计算并计算误差率，通过BP算法进行迭代优化达到最小化损失函数

for item in range(10000):
l0=X
l1=nonlinear(np.dot(l0,syn0))
# how much did we miss?
l1_error=y-l1
# multiply how much we missed by the
# slope of the sigmoid at the values in l1
l1_delta=l1_error*nonlinear(l1,True)
#update weights
syn0=np.dot(l0.T,l1_delta)+syn0
’
3、其中要用到的激活函数有Sigmoid、tanh、ReLu、Leaky ReLU等，当然还需要求导公式进行梯度下降优化。
‘
def nonlinear(x,deriv=False):
if(deriv==True):
return x*(1-x)
return 1/(1+np.exp(-x))
’