Tensorflow中TFRecord格式介绍
来源:互联网 发布:mac重装没有磁盘 编辑:程序博客网 时间:2024/05/16 11:10
由于数据的来源复杂性以及每一个样例中的信息较为丰富,从而需要一种统一的格式来存储数据,然而在Tensorflow中提供了TFReord的格式来统一输入数据的格式。
TFRecord文件中的数据是通过tf.train.Example Protoclo Buffer的格式存储;
tf.train.Example定义为:
message Example { Features features = 1;};message Features { map<string, Feature> feature = 1;};message Feature { oneof kind { BytesList bytes_list =1; FloatList float_list = 2; Int64List int64_list = 3; }};tf.train.Example 中包含一个从属性名称到取值的字典。属性名称为一个字符串,属性的取值可以为字符串(BytesList),实数列表(FloatList)或者整数列表(Int64List)
TFRecord样例程序:
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport numpy as npdef _int64_feature(value): #生成整数型的属性 return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))def _bytes_feature(value): #生成字符串型的属性 return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))mnist = input_data.read_data_sets("D/path/to/mnist/data", dtype=tf.uint8, one_hot=True)images = mnist.train.imageslabels = mnist.train.labels #训练数据所对应的正确答案,可作为一个属性保存在TFRecord中pixels = images.shape[1]num_examples = mnist.train.num_examples #训练数据的图像分辨率,可以作为Example中的一个属性filename = "D/path/to/output.tfrecords" #输出TFRecord文件的地址writer = tf.python_io.TFRecordWriter(filename) #通过writer来写TFRecord文件for index in range(num_examples): image_raw = images[index].tostring()#将图像矩阵转化为一个字符串 example = tf.train.Example(features=tf.train.Feature(feature={ 'pixels': _int64_feature(pixels), 'label': _int64_feature(np.argmax(labels[index])), 'image_raw' : _bytes_feature(image_raw) })) writer.write(example.SerializeToString()) #将一个Example写入TFRecord文件writer.close()
阅读全文
0 0
- Tensorflow中TFRecord格式介绍
- TensorFlow TFRecord格式
- tensorflow读取数据-tfrecord格式
- tensorflow读取数据-tfrecord格式
- [TFRecord格式数据]基本介绍
- TensorFlow TFRecord
- Tensorflow中使用tfrecord方式读取数据
- tensorflow中tfrecord的原理及例子
- 【实例讲解】TensorFlow中TFRecord关键点
- TFRecord —— tensorflow 下的统一数据存储格式
- tensorflow--TFRecord输入数据格式
- Tensorflow-tfrecord数据
- tfrecord 格式理解
- Tensorflow读取数据2-tfrecord
- tensorflow TFRecord及样例
- TensorFlow 制作自己的TFRecord数据集
- TensorFlow高效读取数据——TFRecord
- TensorFlow 制作自己的TFRecord数据集
- Hdu图论最短路基础题
- VS工程文件常见后缀名文件含义
- 双系统下Ubuntu16.04与Windows10时间不同步解决办法
- nginx反向代理和负载均衡
- Vijos[1983]NOIP2015Day2T3 运输计划 transport LCA
- Tensorflow中TFRecord格式介绍
- robot framework 如何灵活地执行测试用例和测试套件啊
- C++map
- Java——break,continue,return语句
- java中自定义注解并通过反射获取注解属性值
- HDU-2017 多校训练赛2-补题
- linux vmstat命令
- java编码108条规则总结
- Struts2通配符CRUD和注解CRUD