TensorFlow实战

深度学习定义

人工智能,机器学习,深度学习这三个概念还傻傻分不清?一张图解决疑惑

神经网络和深度学习差别？深度学习是一种学习方式，指的是采用深度模型进行学习，不是模型。多层神经网络是一种模型。神经网络只要足够深就可以称作深度模型，但是深度模型不仅仅只有多层网络。

神经网络部分概念

特征值

人和计算机互补（人，直觉，驾车，图像识别，计算机，简单机械）特征值提取的好坏（直角坐标与极坐标举例）举例：工厂：尺子质量和长度，邮件:收件人长度，收件人数量，广告词传统的机器学习和深度学习最大的不在于，传统的机器学习是简单的人工提取特征值。深度学习是多层复杂的特征提取。

维度

升维：线性区分，高维度空间可用区分低维度不可分。降维：特征值太多，无法学习，只需要提取最重要的特征值（无关特征，相关性太高的特征）。

矩阵计算

不满足交换律，满足结合律，分配率。

简单的神经网络演示

结合特征值，维度

Stanford convnetjs

Google playgroud

TensorFlow初步

Scikit-learn比较

1.sklearn是一个完整的机器学习流程框架，提供了完整的特征工程工具，实现了很多经典机器学习算法，如线性回归、决策树、各种Boost、SVM、神经网络，并封装成为类库模块，运行于CPU，最后还有交叉验证等评估工具。2.而TensorFlow就如同乐高积木一般 ，可以自己组装张量运算图以及自动求导，你完全把张量运算拼装起来，然后规定优化目标，进行训练。可以高效实现卷积运算、批标准化、在不同范数实现正则化、自动求解梯度、梯度下降/截断等功能，这些功能都是近年神经网络应用突飞猛进的必备。

安装

1.pip,源码方式,较为麻烦,网上有相关教程，注意GPU和CPU的选择。2.docker方式, 推荐, 一条命令解决.sudo docker pull registry.cn-hangzhou.aliyuncs.com/chenyu139/chenyu:0.0.2sudo docker run -it -p 8888:8888 -p 6006:6006 0660b741e6a9

张量

TensorFlow两个重要概念:Tensor和Flow,Tensor就是张量（可以理解为多维数组）,Flow就是计算相互转化的过程。TensorFlow的计算方式类似Spark的有向无环图(DAG),在创建Session之后才开始计算（类似Action算子）。

import tensorflow as tfa = tf.constant([1.0,2.0],name="a")b = tf.constant([3.0,4.0],name="b")result = a + bprint(result)# Tensor("add_1:0", shape=(2,), dtype=float32)

会话

import tensorflow as tfa = tf.constant([1.0,2.0],name="a")b = tf.constant([3.0,4.0],name="b")result = a + bwith tf.Session() as sess:    # 两种方式计算张量的取值    print(sess.run(result))    print(result.eval(session=sess))

变量

# 声明一个2 * 3 的矩阵变量，矩阵均值为0，标准差为2的随机数import tensorflow as tfweights = tf.Variable(tf.random_normal([2,3],stddev=2))# 初始化变量init = tf.global_variables_initializer()with tf.Session() as sess:    sess.run(init)    print(sess.run(weights))

前向传播结构图

import tensorflow as tfx = tf.constant([[0.7,0.9]])w = tf.random_normal([2,3])y = tf.matmul(x,w)with tf.Session() as sess:       print (sess.run(w))    print (sess.run(y))

反向训练

损失函数：分类问题(交叉熵), 回归问题(均方误差)
梯度下降：凸函数，可能无法全局最优

两个完整运行例子实战分析(套路)　

import tensorflow as tffrom numpy.random import RandomState# 定义训练数据batch的大小batch_size = 8# 定义神经网络的参数w1 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))# 在shape的一个维度上使用None可以方便使用不同的batch大小x = tf.placeholder(tf.float32,shape=(None,2),name='x-input')y_ = tf.placeholder(tf.float32,shape=(None,1),name='y-input')# 定义神经网络前向传播的过程a = tf.matmul(x,w1)y = tf.matmul(a,w2)# 定义损失函数和反向传播算法cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y,1e-10,1.0)))train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)# 通过随机数生成一个模拟数据集rdm = RandomState(1)dataset_size = 128X = rdm.rand(dataset_size,2)# 定义规则来给出样本的标签，x1+x2<1的样例都被认为是正样本，其他为负样本，0：负样本，1：正样本Y = [[int(x1+x2<1)] for (x1,x2) in X]# 创建一个会话来运行TensorFlow程序with tf.Session() as sess:    # 初始化变量    init_op = tf.global_variables_initializer()    sess.run(init_op)    print(sess.run(w1))    print(sess.run(w2))    # 设定训练的轮数    STEPS = 5000    for i in range(STEPS):        # 每次选取batch_size 个样本进行训练        start = (i * batch_size)% dataset_size        end = min(start+batch_size,dataset_size)        # 通过选取的样本训练神经网络并更新参数        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})        if i % 1000 == 0:            total_cross_entropy = sess.run(cross_entropy,feed_dict={x:X,y_:Y})            print("After %d trainint step(s),cross entropy on all data is %g" % (i,total_cross_entropy))    print(sess.run(w1))    print(sess.run(w2))

import tensorflow as tfimport numpyimport matplotlib.pyplot as pltrng = numpy.random# 初始化参数learning_rate = 0.01training_epochs = 2000display_step = 50# T随机数据train_X = numpy.asarray([3.3,4.4,5.5,6.71,6.93,4.168,9.779,6.182,7.59,2.167,7.042,10.791,5.313,7.997,5.654,9.27,3.1])train_Y = numpy.asarray([1.7,2.76,2.09,3.19,1.694,1.573,3.366,2.596,2.53,1.221,2.827,3.465,1.65,2.904,2.42,2.94,1.3])n_samples = train_X.shape[0]# 套路开始X = tf.placeholder("float")Y = tf.placeholder("float")W = tf.Variable(rng.randn(), name="weight")b = tf.Variable(rng.randn(), name="bias")activation = tf.add(tf.mul(X, W), b)# 定义cost,优化器cost = tf.reduce_sum(tf.pow(activation-Y, 2))/(n_samples) optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost) # 初始化变量init = tf.global_variables_initializer()# 套路with tf.Session() as sess:    sess.run(init)    # 开始训练    for epoch in range(training_epochs):        for (x, y) in zip(train_X, train_Y):            sess.run(optimizer, feed_dict={X: x, Y: y})        #打印        if epoch % display_step == 0:            print "Epoch:", '%04d' % (epoch+1), "cost=", \                "{:.9f}".format(sess.run(cost, feed_dict={X: train_X, Y:train_Y})), \                "W=", sess.run(W), "b=", sess.run(b)    print "Optimization Finished!"    print "cost=", sess.run(cost, feed_dict={X: train_X, Y: train_Y}), \          "W=", sess.run(W), "b=", sess.run(b)    #绘图    plt.plot(train_X, train_Y, 'ro', label='Original data')    plt.plot(train_X, sess.run(W) * train_X + sess.run(b), label='Fitted line')    plt.legend()    plt.show()

神经网络优化

矩阵的乘法永远是线性（激活函数）过度拟合（正则化）学习率动态调整