资源简介

tensorflow推荐的TFRecord的保存和读取数据集,支持多线程读取和打乱顺序,使用队列读取,避免了大型数据集对内存的严重占用

资源截图

代码片段和文件信息

# 导入包
import tensorflow as tf
import numpy as np
import os

“““
    介绍:
    tfrecord格式是tensorflow官方推荐的数据格式,把数据、标签进行统一的存储
    tfrecord文件包含了tf.train.Example 协议缓冲区(protocol buffer,协议缓冲区包含了特征 Features), 能让tensorflow更好的利用内存。

    Author:Ephemerptero
    Version:1.0.0
    Date:2019-3-23
    QQ:605686962
“““


“““
# 定义生成整数型和字符串型属性的方法,这是将数据填入到Example协议
# 内存块(protocol buffer)的第一步,以后会调用到这个方法
“““
def Int64_feature(value):
    return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

def Bytes_feature(value):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))



“““
# TFRecord格式保存函数:
# data:格式为M x N ,M为数据集个数,N为一个数据项,常用data[i]表示
# label:同理
# filename: 路径名+文件名(无后缀名)
# npart: 将该文件拆分为n个TFR保存
“““
def SaveByTFRecord(datalabelfilename

评论

共有 条评论