InstructPix2Pix: Learning to Follow Image Editing Instructions
图像的语言指令生成。目的是遵循人工指令去编辑图像，即给定输入图像和一个如何编辑它的文本指令，模型尝试遵循这些指令来编辑图像。
这份论文与现有基于文本的图像编辑工作们最大的不同在于，它可以直接以自然文本形式告诉模型要执行什么操作（Instructs），而不是以文本标签、描述或字幕等方式。指令形式的一个好处在于，用户可以用自然的书面文本准确地告诉模型该做什么。指令具有表达性、精确和直观，允许用户轻松地对某些特定对象或视觉属性进行更改。
由于该任务的训练数据难以在大规模上获取，为了获得训练数据，作者结合了两个大型的预训练模型的知识：GPT-3和stable diffusion，以生成一个用于图像编辑任务的大型生成训练数据集。这两个大模型可以分别捕获关于语言和图像的互补知识，以为跨模态的任务创建一些成对的训练数据。
因此InstructPix2Pix的方法包括两部分：生成一个图像编辑数据集，以及基于该数据集训练扩散模型。具体的步骤有如下几步：
Input Caption: “photograph of a girl riding a horse” Instruction:
GPT-3生成Instruction：“have her ride a dragon”
GPT-3生成Edited Caption: “photograph of a girl riding a dragon”
在文本域中的操作可以生成大量和多样化的编辑指令集合，同时还能保持图像变化前后的文字对应关系。其中作者是在GPT-3 Davinci上进行微调的，微调使用Human-written的700个Caption–Instruction–Edited Caption数据。得益于GPT-3丰富的知识和概括能力，微调后的模型能够生成创造性而明确的指令和描述。
虽然InstructPix2Pix是完全在自己生成的数据集上进行训练，即利用GPT-3和stable diffusion生成的数据，但其实仍然现了对任意真实图像和人类编写文本的zero-shot泛化。
paper：https://arxiv.org/abs/2211.09800
Do As I Can, Not As I Say: Grounding Language in Robotic Affordances
如题是Grounding Language任务，即按照人类口头指令执行现实世界的任务。论文motivation在于，使用大语言模型来理解口头指令可以编码关于世界的丰富语义知识，这些知识对于机器人能够执行高水平的指令可能非常有用。然而，语言模型的一个显著弱点是它们缺乏现实世界的经验，这使得很难利用它们来进行具象决策。
如下图所示，对于“我把饮料洒了出来，你能帮忙吗？” ，缺乏现实经验的语言模型可能会给出不现实的建议，如如果现场没有吸尘器等物品，机器人是无法帮忙清除饮料的。因此，相结合之下，机器人可以作为语言模型的“手和眼睛”，而语言模型则提供关于任务的高级语义知识，从而将低级别技能与大型语言模型结合起来。
本文主要提出了一种将语言模型转化为机器指令的方法，如上图右侧，大规模语言模型的能力可以帮助分解语义从而得到足够的可能，然后通过强化学习训练一个价值函数来判断可能的价值，最终指导机器人去找到海绵、拿起海绵、找到你、放下海绵、结束。具体的模型结构如下图所示，
给定一个高级指令，SayCan结合了来自LLM的概率（一个技能对指令有用的概率）和来自一个值函数的概率(为的概率 成功地执行上述技能)来选择要执行的技能。
code：https://github.com/google-research/google-research/tree/master/saycan
paper：https://arxiv.org/pdf/2204.01691
demo：https://sites.research.google/palm-saycan
