TensorFlow学习笔记（九）

1. TensorFlow神经网络—激活函数

操作  描述tf.nn.relu(features, name=None) 整流函数：max(features, 0)tf.nn.relu6(features, name=None)    以6为阈值的整流函数：min(max(features, 0), 6)tf.nn.elu(features, name=None)  elu函数，exp(features) - 1 if < 0,否则featuresExponential Linear Units (ELUs) tf.nn.softplus(features, name=None) 计算softplus：log(exp(features) + 1)tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None) 计算dropout，keep_prob为keep概率noise_shape为噪声的shapetf.nn.bias_add(value, bias, data_format=None, name=None)    对value加一偏置量此函数为tf.add的特殊情况，bias仅为一维，函数通过广播机制进行与value求和,数据格式可以与value不同，返回为与value相同格式tf.sigmoid(x, name=None)    y = 1 / (1 + exp(-x))tf.tanh(x, name=None)   双曲线切线激活函数

2.TensorFlow神经网络—卷积函数

操作  描述tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None) 在给定的4D input与 filter下计算2D卷积输入shape为 [batch, height, width, in_channels]tf.nn.conv3d(input, filter, strides, padding, name=None)    在给定的5D input与 filter下计算3D卷积输入shape为[batch, in_depth, in_height, in_width, in_channels]

3.TensorFlow神经网络—池化函数

操作  描述tf.nn.avg_pool(value, ksize, strides, padding, data_format=’NHWC’, name=None)  平均方式池化tf.nn.max_pool(value, ksize, strides, padding, data_format=’NHWC’, name=None)  最大值方法池化tf.nn.max_pool_with_argmax(input, ksize, strides,padding, Targmax=None, name=None)   返回一个二维元组(output,argmax),最大值pooling，返回最大值及其相应的索引tf.nn.avg_pool3d(input, ksize, strides, padding, name=None) 3D平均值poolingtf.nn.max_pool3d(input, ksize, strides, padding, name=None) 3D最大值pooling

4.TensorFlow神经网络—数据标准化

操作  描述tf.nn.l2_normalize(x, dim, epsilon=1e-12, name=None)    对维度dim进行L2范式标准化output = x / sqrt(max(sum(x**2), epsilon))tf.nn.sufficient_statistics(x, axes, shift=None, keep_dims=False, name=None) 计算与均值和方差有关的完全统计量返回4维元组,*元素个数，*元素总和，*元素的平方和，*shift结果参见算法介绍tf.nn.normalize_moments(counts, mean_ss, variance_ss, shift, name=None) 基于完全统计量计算均值和方差tf.nn.moments(x, axes, shift=None, name=None, keep_dims=False) 直接计算均值与方差

5.TensorFlow神经网络—损失函数

操作  描述tf.nn.l2_loss(t, name=None) output = sum(t ** 2) / 2

6.TensorFlow神经网络—分类函数

操作  描述tf.nn.sigmoid_cross_entropy_with_logits(logits, targets, name=None)*   计算输入logits, targets的交叉熵tf.nn.softmax(logits, name=None)    计算softmaxsoftmax[i, j] = exp(logits[i, j]) / sum_j(exp(logits[i, j]))tf.nn.log_softmax(logits, name=None)    logsoftmax[i, j] = logits[i, j] - log(sum(exp(logits[i])))tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None) 计算logits和labels的softmax交叉熵logits, labels必须为相同的shape与数据类型tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels, name=None) 计算logits和labels的softmax交叉熵tf.nn.weighted_cross_entropy_with_logits(logits, targets, pos_weight, name=None)    与sigmoid_cross_entropy_with_logits()相似，但给正向样本损失加了权重pos_weight