Tensorflow contrib.layers 模块介绍

在tf.contrib.layers内部，有许多产生layer操作及其相关权重和偏差变量的函数。这些大部分都是用来构建不同深度学习架构的。也有些函数是提供归一化，卷积层，dropout层（注：Dropout是在训练过程中以一定概率1-p将隐含层节点的输出值清0），‘one-hot’编码等。下面来粗略浏览一下：


tf.contrib.layers.optimizers模块：tf.contrib.layers.optimizers包括的优化器有Adagrad，SGD，Momentum等。它们用来解决数值分析的优化问题，比如，优化参数空间寻找最优模型；
tf.contrib.layers.regularizers模块：tf.contrib.layers.regularizers包括的正则化有L1规则化和L2规则化。规则化经常被用来抑制模型训练时特征数过大导致的过拟合（overfitting）问题；有时也作为Lasso回归和Ridge回归的构建模块；
tf.contrib.layers.initializers模块：tf.contrib.layers.initializers一般用来做模型初始化。包括深度学习在内的许多算法都要求计算梯度来优化模型。随机初始化模型参数有助于在参数空间中找到最优参数解。TensorFlow提供的有Xavier初始化器，用来在所有层中保持梯度大体相同；
tf.contrib.layers.feature_column模块：tf.contrib.layers.feature_column提供函数（比如，bucketing/binning，crossing/compostion，和embedding）来转换连续特征和离散特征；
tf.contrib.layers.embedding模块：tf.contrib.layers.embedding转化高维分类特征成低维、密集实数值向量。