用python实现一个神经网络
来源:互联网 发布:redis php 编辑:程序博客网 时间:2024/06/02 00:27
原文:http://www.wildml.com/2015/09/implementing-a-neural-network-from-scratch/
体验一下神经网络
# -*- coding: utf-8 -*-"""Created on Fri Jul 7 15:37:41 2017@author: bryan"""import numpy as npfrom matplotlib import pyplot as pltimport sklearnnp.random.seed(0)X, y = sklearn.datasets.make_moons(200, noise=0.20)num_examples=len(X)nn_input_dim=2nn_output_dim=2#Gradient descent parameterseta=0.01reg_lambda=0.01def plot_decision_boundary(pred_func): # Set min and max values and give it some padding x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5 y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5 h = 0.01 # Generate a grid of points with distance h between them xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h)) # Predict the function value for the whole gid Z = pred_func(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) # Plot the contour and training examples plt.contourf(xx, yy, Z, cmap=plt.cm.Spectral) plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Spectral)def calculate_loss(model): W1,b1,W2,b2=model['W1'],model['b1'],model['W2'],model['b2'] z1=X.dot(W1)+b1 a1=np.tanh(z1) z2=a1.dot(W2)+b2 exp_scores=np.exp(z2) probs=exp_scores/np.sum(exp_scores,axis=1,keepdims=True) corect_logprobs=-np.log(probs[range(num_examples),y]) data_loss = np.sum(corect_logprobs) data_loss+=reg_lambda/2*(np.sum(np.square(W1))+np.sum(np.square(W2))) return 1./num_examples*data_lossdef predict(model,X): W1,b1,W2,b2=model['W1'],model['b1'],model['W2'],model['b2'] z1=X.dot(W1)+b1 a1=np.tanh(z1) z2=a1.dot(W2)+b2 exp_scores=np.exp(z2) probs=exp_scores/np.sum(exp_scores,axis=1,keepdims=True) return np.argmax(probs,axis=1)def build_model(nn_hdim,num_passes=20000,print_loss=True): np.random.seed(0) W1=np.random.randn(nn_input_dim,nn_hdim)/np.sqrt(nn_input_dim) b1=np.zeros((1,nn_hdim)) W2=np.random.randn(nn_hdim,nn_output_dim)/np.sqrt(nn_hdim) b2 = np.zeros((1, nn_output_dim)) model={} # Gradient descent. For each batch... for i in range(0,num_passes): # Forward propagation z1=X.dot(W1)+b1 a1=np.tanh(z1) z2=a1.dot(W2)+b2 exp_scores=np.exp(z2) probs=exp_scores/np.sum(exp_scores,axis=1,keepdims=True) # Backpropagation delta3=probs delta3[range(num_examples),y]-=1 dW2=(a1.T).dot(delta3) db2=np.sum(delta3,axis=0,keepdims=True) delta2=delta3.dot(W2.T)*(1-np.power(a1,2)) dW1=np.dot(X.T,delta2) db1=np.sum(delta2,axis=0) # Add regularization terms (b1 and b2 don't have regularization terms) dW2+=reg_lambda*W2 dW1+=reg_lambda*W1 # Gradient descent parameter update W1+=-eta*dW1 b1+=-eta*db1 W2+=-eta*dW2 b2+=-eta*db2 model = { 'W1': W1, 'b1': b1, 'W2': W2, 'b2': b2} # Optionally print the loss. # This is expensive because it uses the whole dataset, so we don't want to do it too often. if print_loss and i % 1000 == 0: print( "%i hidden_layers' Loss after iteration %i: %f" %(nn_hdim,i, calculate_loss(model))) return model # Build a model with a 3-dimensional hidden layer#model = build_model(3, print_loss=True) # Plot the decision boundary#plot_decision_boundary(lambda x: predict(model, x))#plt.title("Decision Boundary for hidden layer size 3")plt.figure(figsize=(16, 32))hidden_layer_dimensions = [1, 2, 3, 4, 5, 20, 50]for i, nn_hdim in enumerate(hidden_layer_dimensions): plt.subplot(5, 2, i+1) plt.title('Hidden Layer size %d' % nn_hdim) model = build_model(nn_hdim) plot_decision_boundary(lambda x: predict(model, x))plt.show()
阅读全文
0 0
- 用python实现一个神经网络
- 从头到尾用Python实现一个深度神经网络
- 基于python实现一个简单的神经网络
- 用python实现BP神经网络
- 从零开始用python实现神经网络
- 循环神经网络教程第二部分-用python,numpy,theano实现一个RNN
- 十一行Python代码实现一个神经网络(第一部分)
- 十一行Python代码实现一个神经网络(第一部分)
- 一个 11 行 Python 代码实现的神经网络
- 一个 11 行 Python 代码实现的神经网络
- 一个 11 行 Python 代码实现的神经网络
- 一个 11 行 Python 代码实现的神经网络
- 一个 11 行 Python 代码实现的神经网络
- 13行Python代码实现一个神经网络(Part 2
- 一个 11 行 Python 代码实现的神经网络
- 一个 11 行 Python 代码实现的神经网络
- 一个 11 行 Python 代码实现的神经网络
- 一个 11 行 Python 代码实现的神经网络
- 可视化工具调研
- [Leetcode] 279. Perfect Squares 解题报告
- 2.1 Thread Communication -- Pipe
- Symbol
- cookie小例子
- 用python实现一个神经网络
- PreparedStatement ResultSet
- 西门子PLC 使用SCL实现伪随机数
- JAVA安卓开发调用相机
- 九、JVM垃圾算法(GC算法)和垃圾回收器
- 几何模板判断线段与直线相交模板
- 编程-基本概念(逐渐完善)
- c++ 和 lua的相互调用
- PC Windows 下U3D串口接收数据