TensorFlow 制作自己的TFRecord数据集
来源:互联网 发布:nginx代理apache 400 编辑:程序博客网 时间:2024/04/29 17:48
官网的mnist和cifar10数据之后,笔者尝试着制作自己的数据集,并保存,读入,显示。 TensorFlow可以支持cifar10的数据格式, 也提供了标准的TFRecord 格式,而关于 tensorflow 读取数据, 官网提供了3中方法
1 Feeding: 在tensorflow程序运行的每一步, 用Python代码在线提供数据
2 Reader : 在一个计算图(tf.graph)的开始前,将文件读入到流(queue)中
3 在声明tf.variable变量或numpy数组时保存数据。受限于内存大小,适用于数据较小的情况
在本文,主要介绍第二种方法,利用tf.record标准接口来读入文件
准备图片数据
笔者找了2类狗的图片, 哈士奇和吉娃娃, 全部 resize成128 * 128大小
如下图, 保存地址为/home/molys/Python/data/dog
每类中有10张图片
现在利用这2 类 20张图片制作TFRecord文件
制作TFRECORD文件
1 先聊一下tfrecord, 这是一种将图像数据和标签放在一起的二进制文件,能更好的利用内存,在tensorflow中快速的复制,移动,读取,存储 等等..
这里注意,tfrecord会根据你选择输入文件的类,自动给每一类打上同样的标签
如在本例中,只有0,1 两类
2 先上“制作TFRecord文件”的代码,注释附详解
import os import tensorflow as tf from PIL import Image #注意Image,后面会用到import matplotlib.pyplot as plt import numpy as npcwd='/home/molys/Python/data/' classes={'husky','chihuahua'} #人为 设定 2 类writer= tf.python_io.TFRecordWriter("dog_train.tfrecords") #要生成的文件for index,name in enumerate(classes): class_path=cwd+name+'/' for img_name in os.listdir(class_path): img_path=class_path+img_name #每一个图片的地址 img=Image.open(img_path) img= img.resize((128,128)) img_raw=img.tobytes()#将图片转化为二进制格式 example = tf.train.Example(features=tf.train.Features(feature={ "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])), 'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw])) })) #example对象对label和image数据进行封装 writer.write(example.SerializeToString()) #序列化为字符串writer.close()
运行完这段代码后,会生成dog_train.tfrecords 文件,如下图
tf.train.Example 协议内存块包含了Features字段,通过feature将图片的二进制数据和label进行统一封装, 然后将example协议内存块转化为字符串, tf.python_io.TFRecordWriter 写入到TFRecords文件中。
读取TFRECORD文件
在制作完tfrecord文件后, 将该文件读入到数据流中。
代码如下
def read_and_decode(filename): # 读入dog_train.tfrecords filename_queue = tf.train.string_input_producer([filename])#生成一个queue队列 reader = tf.TFRecordReader() _, serialized_example = reader.read(filename_queue)#返回文件名和文件 features = tf.parse_single_example(serialized_example, features={ 'label': tf.FixedLenFeature([], tf.int64), 'img_raw' : tf.FixedLenFeature([], tf.string), })#将image数据和label取出来 img = tf.decode_raw(features['img_raw'], tf.uint8) img = tf.reshape(img, [128, 128, 3]) #reshape为128*128的3通道图片 img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 #在流中抛出img张量 label = tf.cast(features['label'], tf.int32) #在流中抛出label张量 return img, label
注意,feature的属性“label”和“img_raw”名称要和制作时统一 ,返回的img数据和label数据一一对应。返回的img和label是2个 tf 张量,print出来 如下图
显示tfrecord格式的图片
有些时候我们希望检查分类是否有误,或者在之后的网络训练过程中可以监视,输出图片,来观察分类等操作的结果,那么我们就可以session回话中,将tfrecord的图片从流中读取出来,再保存。 紧跟着一开始的代码写:
filename_queue = tf.train.string_input_producer(["dog_train.tfrecords"]) #读入流中reader = tf.TFRecordReader()_, serialized_example = reader.read(filename_queue) #返回文件名和文件features = tf.parse_single_example(serialized_example, features={ 'label': tf.FixedLenFeature([], tf.int64), 'img_raw' : tf.FixedLenFeature([], tf.string), }) #取出包含image和label的feature对象image = tf.decode_raw(features['img_raw'], tf.uint8)image = tf.reshape(image, [128, 128, 3])label = tf.cast(features['label'], tf.int32)with tf.Session() as sess: #开始一个会话 init_op = tf.initialize_all_variables() sess.run(init_op) coord=tf.train.Coordinator() threads= tf.train.start_queue_runners(coord=coord) for i in range(20): example, l = sess.run([image,label])#在会话中取出image和label img=Image.fromarray(example, 'RGB')#这里Image是之前提到的 img.save(cwd+str(i)+'_''Label_'+str(l)+'.jpg')#存下图片 print(example, l) coord.request_stop() coord.join(threads)
代码运行完后, 从tfrecord中取出的文件被保存了。如下图:
在这里我们可以看到,图片文件名的第一个数字表示在流中的顺序(笔者这里没有用shuffle), 第二个数字则是 每个图片的label,吉娃娃都为0,哈士奇都为1。 由此可见,我们一开始制作tfrecord文件时,图片分类正确。
如有问题请留言,博主不定期更新。感觉有帮助的话,请赞一个 (。・`ω´・)
- TensorFlow 制作自己的TFRecord数据集
- TensorFlow 制作自己的TFRecord数据集
- 制作自己的数据集tfrecord格式
- TensorFlow 学习(二) 制作自己的TFRecord数据集,读取,显示及代码详解
- Tensorflow 训练自己的数据集(二)(TFRecord)
- Tensorflow使用TFRecord构建自己的数据集并读取
- tensorflow制作数据集之TFRecord
- 将自己的数据集制作成TFRecord格式
- Tensorflow教程学习笔记(一)----将自己的数据集转换成TFRecord
- tensorflow如何制作自己的数据集
- TensorFlow TFRecord数据集的生成与显示
- Tensorflow-tfrecord数据
- Tensorflow读取数据2-tfrecord
- tensorflow读取数据-tfrecord格式
- tensorflow读取数据-tfrecord格式
- TFRecord —— tensorflow 下的统一数据存储格式
- 深入浅出的TensorFlow数据格式化存储工具TFRecord用法教程
- 用Tensorflow处理自己的数据:制作自己的TFRecords数据集
- 约瑟夫环问题
- MYSQL基础上机练习题(七)选取最大值、最小值、连续值、缺失值、重复值的综合应用
- Spring读书笔记-----Spring的Bean之Bean的基本概念
- 简单却又复杂的FizzBuzz面试编程问题
- 344. Reverse String
- TensorFlow 制作自己的TFRecord数据集
- hibernate的ID生成器
- RabbitMq学习笔记(四)—— 消息路由(Routing)
- Android实现zip下载并解压
- js 数组去重的一些方法总结
- Openstack Ocata Nova [placement]
- vi编辑器
- java中有关package的作用
- NUMA、SMP架构下的CPU性能调优:姻亲关系、进程绑定与中断