Tensorflow读取数据--TFrecord格式

一. 什么是Tfrecord？
 TFRecords可以允许你讲任意的数据转换为TensorFlow所支持的格式， 这种方法可以使TensorFlow的数据集更容易与网络应用架构相匹配。这种建议的方法就是使用TFRecords文件，TFRecords文件包含了[tf.train.Example 协议内存块(protocol buffer)](协议内存块包含了字段[Features]。你可以写一段代码获取你的数据， 将数据填入到Example协议内存块(protocol buffer)，将协议内存块序列化为一个字符串， 并且通过[tf.python_io.TFRecordWriter class]写入到TFRecords文件。

TFRecords文件格式在图像识别中有很好的使用,其可以将二进制数据和标签数据(训练的类别标签)数据存储在同一个文件中,它可以在模型进行训练之前通过预处理步骤将图像转换为TFRecords格式,此格式最大的优点实践每幅输入图像和与之关联的标签放在同一个文件中.TFRecords文件是一种二进制文件,其不对数据进行压缩,所以可以被快速加载到内存中.格式不支持随机访问，因此它适合于大量的数据流，但不适用于快速分片或其他非连续存取。
总的来说，TFrecord是tensorflow支持的对数据进行快速处理的一种格式，所以当我们的数据集非常大时，我们可以选择将数据转换为tfrecord格式
二.如何转换为TFrecord格式?
首先我们需要对TFrecord格式进行一个了解，TFrecord格式一般是这样的:

message Example {
 Features features = 1;
};

message Features{
 map<string,Feature> featrue = 1;
};
message Feature{
    oneof kind{
        BytesList bytes_list = 1;
        FloatList float_list = 2;
        Int64List int64_list = 3;
    }
};

从上述代码可以看出，tf.train.Example 的数据结构很简单。tf.train.Example中包含了一个从属性名称到取值的字典，其中属性名称为一个字符串，属性的取值可以为字符串（BytesList ），浮点数列表（FloatList ）或整数列表（Int64List ）。例如我们可以将图片转换为字符串进行存储，图像对应的类别标号作为整数存储，而用于回归任务的ground-truth可以作为浮点数存储。通过后面的代码我们会对tfrecord的这种字典形式有更直观的认识。
二.如何将我们的数据转换为tfrecord呢？

总的来说，一共分为了三步：
1.我们可以写一段代码获取你的原始数据。
2.通过修改 tf.train.Example 的Features，将数据填入到Example协议内存块(protocol buffer)。
3.将协议内存块(protocol buffer)序列化为一个字符串，并且通过tf.python_io.TFRecordWriter将序列化的字符串写入到TFRecords文件。 
先上一段代码，然后我们对代码进行详细解释:

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
from scipy import misc
import scipy.io as sio


def _bytes_feature(value):
    return tf.train.Feature(bytes_list = tf.train.BytesList(value=[value]))

def _int64_feature(value):
    return tf.train.Feature(int64_list = tf.train.Int64List(value=[value]))


root_path = '/mount/temp/WZG/Multitask/Data/'
tfrecords_filename = root_path + 'tfrecords/train.tfrecords'
writer = tf.python_io.TFRecordWriter(tfrecords_filename)


height = 300
width = 300
meanfile = sio.loadmat(root_path + 'mats/mean300.mat')
meanvalue = meanfile['mean']

txtfile = root_path + 'txt/train.txt'
fr = open(txtfile)

for i in fr.readlines():
    item = i.split()
    img = np.float64(misc.imread(root_path + '/images/train_images/' + item[0]))
    img = img - meanvalue
    maskmat = sio.loadmat(root_path + '/mats/train_mats/' + item[1])
    mask = np.float64(maskmat['seg_mask'])
    label = int(item[2])
    img_raw = img.tostring()
    mask_raw = mask.tostring()
    example = tf.train.Example(features=tf.train.Features(feature={
        'height': _int64_feature(height),
        'width': _int64_feature(width),
        'name': _bytes_feature(item[0]),
        'image_raw': _bytes_feature(img_raw),
        'mask_raw': _bytes_feature(mask_raw),
        'label': _int64_feature(label)}))

    writer.write(example.SerializeToString())

writer.close()
fr.close()

代码中前两个函数（_bytes_feature和_int64_feature）是将我们的原生数据进行转换用的，尤其是图片要转换成字符串再进行存储。这两个函数的定义来自官方的示例。 
接下来，我定义了数据的（路径-label文件）txtfile，它大概长这个样子：

这里稍微啰嗦下，介绍一下我的实验内容。我做的是一个multi-task的实验，一支task做分割，一支task做分类。所以txtfile中每一行是一个样本，每个样本又包含3项，第一项为图片名称，第二项为相应的ground-truth segmentation mask的名称，第三项是图片的标签。（txtfile中内容形式无所谓，只要能读到想读的数据就可以）

接着回到主题继续讲代码，之后我又定义了即将生成的tfrecord的文件路径和名称，即tfrecord_filename，还有一个writer，这个writer是进行写操作用的。

接下来是图片的高度、宽度以及我事先在整个数据集上计算好的图像均值文件。高度、宽度其实完全没必要引入，这里只是为了说明tfrecord的生成而写的。而均值文件是为了对图像进行事先的去均值化操作而引入的，在大多数机器学习任务中，图像去均值化对提高算法的性能还是很有帮助的。

最后就是根据txtfile中的每一行进行相关数据的读取、转换以及tfrecord的生成了。首先是根据图片路径读取图片内容，然后图像减去之前读入的均值，接着根据segmentation mask的路径读取mask（如果只是图像分类任务，那么就不会有这些额外的mask），txtfile中的label读出来是string格式，这里要转换成int。然后图像和mask数据也要用相应的tosring函数转换成string。

真正的核心是下面这一小段代码：

example = tf.train.Example(features=tf.train.Features(feature={
        'height': _int64_feature(height),
        'width': _int64_feature(width),
        'name': _bytes_feature(item[0]),
        'image_raw': _bytes_feature(img_raw),
        'mask_raw': _bytes_feature(mask_raw),
        'label': _int64_feature(label)}))

writer.write(example.SerializeToString())

这里很好地体现了tfrecord的字典特性，tfrecord中每一个样本都是一个小字典，这个字典可以包含任意多个键值对。比如我这里就存储了图片的高度、宽度、图片名称、图片内容、mask内容以及图片的label。对于我的任务来说，其实height、width、name都不是必需的，这里仅仅是为了展示。键值对的键全都是字符串，键起什么名字都可以，只要能方便以后使用就可以。

定义好一个example后就可以用之前的writer来把它真正写入tfrecord文件了，这其实就跟把一行内容写入一个txt文件一样。代码的最后就是writer和txt文件对象的关闭了。
最后，附上一些讲解的较好的文章来方便回顾和学习:
[https://www.jianshu.com/p/78467f297ab5](url)
[https://blog.csdn.net/u010358677/article/details/70544241](url)
[https://blog.csdn.net/briblue/article/details/80789608](url)
[https://blog.csdn.net/fu6543210/article/details/80263425](url)
[https://blog.csdn.net/u013555719/article/details/77894827](url)