tf_agents 自定义 time_step_spec

我正在修改 tf-agents，但在定制时遇到问题time_step_spec.

我正在尝试在健身房“Breakout-v0”中训练 tf-agent，我已经制作了一个函数来预处理观察结果（游戏像素），现在我想修改 time_step 和 time_step_spec 以反映新数据。

原来的time_step_spec.observation() is:

BoundedTensorSpec(shape=(210, 160, 3), dtype=tf.uint8, name='observation', minimum=array(0, dtype=uint8), maximum=array(255, dtype=uint8))  

我的是：

BoundedTensorSpec(shape=(1, 165, 150), dtype=tf.float32, name='observation', minimum=array(0., dtype=float32), maximum=array(1., dtype=float32))        

我成功创建了一个自定义 BoundedTensorSpec 并使用该函数修改 time_step

processed_timestep = timestep._replace(observation=processed_obs)

现在我无法理解如何修改 time_step_spec 我不完全理解它是什么，也不完全理解如何修改它的组件。

原始 time_step_spec 是：

TimeStep(step_type=TensorSpec(shape=(), dtype=tf.int32, name='step_type'), reward=TensorSpec(shape=(), dtype=tf.float32, name='reward'), discount=BoundedTensorSpec(shape=(), dtype=tf.float32, name='discount', minimum=array(0., dtype=float32), maximum=array(1., dtype=float32)), observation=BoundedTensorSpec(shape=(210, 160, 3), dtype=tf.uint8, name='observation', minimum=array(0, dtype=uint8), maximum=array(255, dtype=uint8)))

它到底是什么结构？张量数组？
我如何访问它的组件？
我可以使用多个组件制作自定义 time_step_spec 吗？ （奖励、观察等）
我可以只修改单个组件吗？

通过使用环境可以轻松解决这个问题。在 TF-Agents 中，环境需要遵循PyEnvironment类（然后你用一个TFPyEnvironment用于并行执行多个环境）。如果您已经定义了环境以匹配此类的规范，那么您的环境应该已经为您提供了两种方法env.time_step_spec() and env.action_spec()。只需将这两个信息提供给您的代理即可完成。

要创建具有多个组件的 time_step，您可以查看以下示例：

self._observation_spec = {'observations': array_spec.ArraySpec(shape=(100,), dtype=np.float64),
                          'legal_moves': array_spec.ArraySpec(shape=(self.num_moves(),), dtype=np.bool_),
                          'other_output1': array_spec.ArraySpec(shape=(10,), dtype=np.int64),
                          'other_output2': array_spec.ArraySpec(shape=(2, 5, 2), dtype=np.int64)}

这条线进入环境的__init__功能。你不需要知道这实际上在做什么，但你可以看到它从根本上来说是一个带有字符串键的字典，ArraySpec价值观。请注意，如果您这样做，您将必须定义一个observation_and_action_constraint_splitter传递给代理，代理丢弃所有不应输入代理输入的组件。下面是一个示例，说明如何使用您的观察字典构建适当的时间步长env._step method:

observations_and_legal_moves = {'observations': current_agent_obs,
                                'legal_moves': np.ones(shape=(self.num_moves(), dtype=np.bool_),
                                'other_output1': np.ones(shape=(10, dtype=np.int64,
                                'other_output2': np.ones(shape=(2, 5, 2), dtype=np.int64}

ts.transition(observations_and_legal_moves, reward, self.gamma)

如果您的环境已经构建了 Tensor 输出，并且您只是无法弄清楚适当的 TensorSpec 应该是什么（获取它可能非常繁琐），那么您可以简单地调用tf.TensorSpec.from_tensor(tensor)弄清楚你必须定义什么。