Tensorflow笔记4：Saver

  Saver类位于tf.train中，属于训练过程中要用到的方法，主要作用就是保存和加载save & restore ckpt。
  最简单的保存应用举例：

saver.save(sess, 'my-model', global_step=0) ==> filename: 'my-model-0'
...
saver.save(sess, 'my-model', global_step=1000) ==> filename: 'my-model-1000'

  正常训练的过程应用：

# Create a saver.
saver = tf.train.Saver(...variables...)
# Launch the graph and train, saving the model every 1,000 steps.
sess = tf.Session()
for step in xrange(1000000):
    sess.run(..training_op..)
    if step % 1000 == 0:
        # Append the step number to the checkpoint name:
        saver.save(sess, 'my-model', global_step=step)

一、Saver构造函数__init__

  众多参数可传入，但用到的不多：

__init__(
    var_list=None,# 若为dict of variables，key将会做为save和restore的名字；若为list of variables，key将会采用op的名称。
    reshape=False,# 若True，允许在restore过程中将不同shape的变量进行reshape（必须同大小同种类）
    sharded=False,# 每一个设备都共享此ckpt
    max_to_keep=5,# 空间受限，仅存储最近5个模型
    keep_checkpoint_every_n_hours=10000.0,# 每隔n小时进行一次保存
    name=None,
    restore_sequentially=False,
    saver_def=None,
    builder=None,
    defer_build=False,
    allow_empty=False,
    write_version=tf.train.SaverDef.V2,
    pad_step_number=False,
    save_relative_paths=False,
    filename=None
)

二、Properties

  Saver的Properties仅有一个：last_checkpoints，返回目前还未删除的ckpt的文件列表，按照从旧到新的顺序。

三、Methods

1.save()

  保存变量，此函数需要一个session，其中含有launched graph，所有变量应已经被初始化。

save(
    sess,# 用于保存变量的会话，其中的variables应都已经init
    save_path,# 字符串，前缀：“my-model”，最终成为my-model<-global_step>.data-00000-of-00001
    global_step=None,# 训练轮数=全局步数：1000  ==>  my-model-1000
    latest_filename=None,
    meta_graph_suffix='meta',# MetaGraphDef文件的后缀，默认meta，占用几个M的文件
    write_meta_graph=True,# Bool，指定是否需要保存一个meta图，默认保存
    write_state=True,
    strip_default_attrs=False,
    save_debug_info=False
)

  保存后目录下会有几个文件：

• checkpoint ：训练过程中自动生成的文本文件，里面记录了保存的最新的checkpoint文件以及其它checkpoint文件列表。在inference时，可以通过修改这个文件，指定使用哪个model。
• MyModel.meta：包含全部graph信息。这是一个序列化的MetaGraphDef protocol buffer，包含数据流、变量的annotations、input pipelines，以及其他相关信息。
• MyModel.data-00000-of-00001：包含所有变量的值(weights, biases, placeholders, gradients, hyper-parameters etc)，也就是模型训练好参数和其他值
• MyModel.index：？
    其中meta信息含有graph信息，因此在重新导入图是不需要手工从头开始构建图，而是直接导入meta信息。具体做法如下：

saver = tf.compat.v1.train.Saver(...variables...) # Create a saver.
tf.compat.v1.add_to_collection('train_op', train_op) # Remember the training_op we want to run by adding it to a collection.
sess = tf.Session()	# 创建一个Session
for step in xrange(1000000):
    sess.run(train_op)
    if step % 1000 == 0:
        saver.save(sess, 'my-model', global_step=step) # 同时保存了meta文件
# ########################################################################
with tf.Session() as sess:
	# 加载图信息，在默认session中创建图。返回的是一个Saver
	new_saver = tf.train.import_meta_graph('my-save-dir/my-model-10000.meta') 
	new_saver.restore(sess, 'my-save-dir/my-model-10000') # 加载数据信息
	train_op = tf.get_collection('train_op')[0] # 会返回一个列表，因此需要取出0元素
	for step in xrange(1000000):
		sess.run(train_op)

更多使用方法：[🔗]

2.restore()

  直接运行装载变量的op，需要一个包含launched graph的session。graph中的变量可以不被初始化，装载操作可以算做初始化。

restore(
    sess,		# 被装载的会话
    save_path	# 保存的路径：.ckpt结尾
)