Tensorflow实例:自编码器
来源:互联网 发布:淘宝开店店名可以改吗 编辑:程序博客网 时间:2024/06/06 08:56
自编码器:可以使用自身的高阶特征编码自己。自编码器通常希望使用少量稀疏的高阶特征来重构输入,加入几种限制:
- 限制中间隐含层节点的数量,比如小于输入输出节点的数量,就相当于一个降维的过程。如果再给中间隐含层的权重加一个L1的正则,则可以根据惩罚系数控制隐含节点的稀疏程度,惩罚系数越大,学到的特征组合越稀疏,实际使用的特征数量越少。
如果给数据加入噪声,就是Denoising AutoEecoder(去噪自编码器),我们将从噪声中学习出数据的特征。同样,完全复制并不能去除我们添加的噪声,无法完全复原数据。
Tensorflow实现自编码器:
import numpy as npimport sklearn.preprocessing as prepimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 定义xavier initialization,它的特点是会根据某一层网络的输入、输出节点数量自动调整最合适的分布。# Xavier 和 Bengio 在一篇论文中指出,如果深度学习模型的权重初始得太小,那信号将在每层间传递时逐渐缩小而难以产生作用,# 但如果权重初始化得太大,那信号将在每层间传递时逐渐放大并导致发散和失效。而Xaiver初始化器做的事情就是让权重被初始化# 得不大不小,正好合适。def xavier_init(fan_in, fan_out, constant = 1): low = -constant * np.sqrt(6.0 / (fan_in + fan_out)) high = constant * np.sqrt(6.0 / (fan_in + fan_out)) return tf.random_uniform((fan_in, fan_out), minval=low, maxval=high, dtype=tf.float32)# 定义一个去噪自编码的classclass AdditiveGaussianNoiseAutoencoder(object): # 构建函数:包括__init__函数,还有一些常用的成员函数 def __init__(self, n_input, n_hidden, transfer_function=tf.nn.softplus, optimizer=tf.train.AdamOptimizer(), scale=0.1): self.n_input = n_input self.n_hidden = n_hidden self.transfer = transfer_function self.scale = scale network_weights = self._initialze_weights() self.weights = network_weights # 接下来开始定义网络结构,这里只使用一个隐含层 self.x = tf.placeholder(tf.float32, [None, self.n_input]) self.hidden = self.transfer(tf.add(tf.matmul( self.x + scale * tf.random_uniform((n_input,)), self.weights['w1']), self.weights['b1'] )) self.reconstruction = tf.add(tf.matmul(self.hidden, self.weights['w2']), self.weights['b2']) # 定义自编码器的损失函数,使用SE self.cost = 0.5 * tf.reduce_mean(tf.pow(tf.subtract(self.reconstruction, self.x), 2)) # 定义优化器 self.optimizer = optimizer.minimize(self.cost) init = tf.global_variables_initializer() self.sess = tf.Session() self.sess.run(init) def _initialize_weights(self): all_weights = dict() all_weights['w1'] = tf.Variable(xavier_init(self.n_input, self.n_hidden)) all_weights['b1'] = tf.Variable(tf.zeros([self.n_input], dtype=tf.float32)) all_weights['w2'] = tf.Variable(xavier_init(self.n_hidden, self.n_input)) all_weights['b1'] = tf.Variable(tf.zeros([self.n_input], dtype=tf.float32)) return all_weights # 定义执行一步训练的函数partial_fit def partial_fit(self, X): cost, opt = self.sess.run((self.cost, self.optimizer), feed_dict={self.x: X, self.scale: self.traning_scale}) return cost # 定义执行一步测试的函数calc_total_cost def calc_total_cost(self, X): return self.sess.run(self.cost, feed_dict={self.x: X, self.scale: self.traning_scale}) # 定义transform函数,它返回自编码器隐含层的输出结果。它的目的是来获取抽象后的特征,自编码器的隐含层的 # 最主要功能就是学习出数据中的高阶特征 def transform(self, X): return self.sess.run(self.hidden, feed_dict={self.x: X, self.scale: self.training_csale}) # 定义generate函数,它将隐含层的输出结果作为输入,通过之后的重建层将提取到的高阶特征复原为原始数据。 def generate(self, hidden=None): if hidden is None: hidden = np.random.normal(size=self.weights['b1']) return self.sess.run(self.reconstruction, feed_dict={self.hidden: hidden}) # 定义reconstruct函数,它完整运行一遍复原过程,包括特取高阶特征和通过高阶特征复原数据,即包括transform和generate两块。 def reconstruct(self, X): return self.sess.run(self.reconstruction, feed_dict={self.x: X, self.scale: self.training_scale}) # 定义getWeights函数来获取隐含层的权重w1 def getWeights(self): return self.sess.run(self.weights['w1']) # 同理 def getBiases(self): return self.sess.run(self.weights['b1'])mnist = input_data.read_data_sets('MNIST', one_hot=True)# 定义一个队训练、测试数据进行标准化处理的函数,均值为0,方差为1def standard_scale(X_train, X_test): preprocessor = prep.StandardScaler().fit(X_train) X_train = preprocessor.transform(X_train) X_test = preprocessor.transform(X_test) return X_train, X_test# 再定义一个获取随机block数据的函数:def get_random_block_from_data(data, batch_size): start_index = np.random.randint(0, len(data) - batch_size) return data[start_index:(start_index + batch_size)]X_train, X_test = standard_scale(mnist.train.images, mnist.test.images)n_samples = int(mnist.train.num_examples)training_epochs = 20batch_size = 128display_step = 1autoencoder = AdditiveGaussianNoiseAutoencoder(n_input=784, n_hidden=200, transfer_function=tf.nn.softplus, optimizer=tf.train.AdamOptimizer(learning_rate=0.001), scale=0.01)for epoch in range(training_epochs): avg_cost = 0 total_batch = int(n_samples / batch_size) for i in range(total_batch): batch_xs = get_random_block_from_data(X_train, batch_size) cost = autoencoder.partial_fit(batch_xs) avg_cost += cost / n_samples * batch_size if epoch % display_step == 0: print("Epoch:", '%04d' % (epoch + 1), "cost=", "{:.9f}".format(avg_cost))print("Total cost: " + str(autoencoder.calc_total_cost(X_test)))
阅读全文
0 0
- Tensorflow实例:自编码器
- tensorflow实现自编码器
- 稀疏自编码器tensorflow
- 自编码器-tensorflow(1)
- Tensorflow实现自编码器
- tensorflow实现自编码器
- TensorFlow实现自编码器
- TensorFlow实现自编码器
- tensorflow自编码器autoencoder
- Tensorflow实现自编码器
- 用TensorFlow实现自编码器
- Tensorflow实现AGN自编码器
- TensorFlow实现自编码器AutoEncoer
- 自编码器及其tensorflow实现
- Tensorflow学习: 自编码器Tensorflow代码
- TensorFlow教程:TensorFlow实现自编码器
- TensorFlow学习--自编码器/稀疏自编码器/堆叠自编码器
- 1TensorFlow实现自编码器-1.1自动编码器基本原理
- 再谈Python多线程--正确的使用场景
- 一个sh脚本(留作借鉴)
- 如何阻止修改input里的值
- html-dom (scroll offset client)
- Hive分析函数之CUME_DIST、PERCENT_RANK学习
- Tensorflow实例:自编码器
- MVP简单实现OKHttp+recyclerview+springview
- IBM V7000存储Mdisk磁盘掉线数据恢复_服务器数据恢复
- 蓝桥杯 算法提高 7-1用宏求球的体积 ADV-221
- 线程生命周期
- js获取浏览器参数
- 用户体验设计师到底有多重要
- 让Android Studio的智能感知不区分大小写
- [面试]cookie和session常见面试题