(机翻的 这篇属实看不懂)Abstract
近年来，神经隐式表面重建方法已成为多视图三维重建的流行方法。 与传统的多视图立体方法相比，由于神经网络的归纳平滑偏差，这些方法往往会产生更平滑和更完整的重建。 最先进的神经隐式方法允许从许多输入视图中高质量地重建简单场景。 然而，对于更大、更复杂的场景以及从稀疏视点捕获的场景，它们的性能会显着下降。 这主要是由于 RGB 重建损失中固有的模糊性没有提供足够的约束，特别是在观察较少和无纹理的区域。 受单眼几何预测领域最新进展的推动，我们系统地探索了这些线索为改进神经隐式表面重建提供的效用。 我们证明了由通用单目估计器预测的深度和法线线索显着提高了重建质量和优化时间。 此外，我们分析和研究了表示神经隐式表面的多种设计选择，范围从单网格上的整体 MLP 模型到多分辨率网格表示。 我们观察到几何单目先验提高了小规模单目标和大规模多目标场景的性能，与表示的选择无关。
Introduction
从多个 RGB 图像重建 3D 是计算机视觉中的一个基本问题，在机器人、图形、动画、虚拟现实等领域有各种应用。 最近，基于坐标的神经网络已成为表示 3D 几何和外观的强大工具。 关键思想是使用紧凑、内存高效的多层感知器 (MLP) 来参数化隐式形状表示，例如占用或有符号距离场。 虽然早期的作品依赖于 3D 监督，但最近的一些作品使用可微表面渲染从多视图图像重建场景。 同时，神经辐射场 (NeRFs) 通过体绘制技术取得了令人印象深刻的新颖视图合成结果。 通过将体积密度表示为底层 3D 表面的函数，结合表面和体绘制来完成 3D 重建任务，这反过来又改进了场景几何。
当前基于神经隐式的表面重建方法对于具有密集视点采样的简单场景实现了令人印象深刻的重建结果。 然而，如图 1 的第一行所示，它们在存在有限输入视图（具有 3 个视图的 DTU）或包含大的无纹理区域（ScanNet 或 Tanks&Temples 中的墙壁）的场景中挣扎。 这种行为的一个关键原因是这些模型使用每像素 RGB 重建损失进行了优化。 仅使用 RGB 图像作为输入会导致约束不足的问题，因为存在无限数量的照片一致解释。 以前的工作通过将场景结构的先验纳入优化过程来解决这个问题，例如。 例如，深度平滑度、表面平滑度、语义相似性或曼哈顿世界假设。 在本文中，我们探索了单目几何先验，因为它们很容易获得并且计算效率很高。 我们表明，使用这样的先验显着提高了具有挑战性的场景中的 3D 重建质量（参见图 1 的第二行）。
图片1：MonoSDF。 上图：最先进的神经隐式表面重建方法在输入视图有限或应用于复杂的多目标场景时失败。 底部：我们证明，结合来自通用单眼预测器的几何线索可以扩展到更大的场景，同时产生更准确的重建并加速优化。 上面显示的所有结果都使用了 384×384 像素的图像分辨率。
几十年来，从单个图像中估计深度和法线等几何线索一直是一个活跃的研究领域。 Eigen 等人的开创性工作。 表明，基于深度卷积神经网络 (CNN) 的学习模型比该领域的早期工作有了显着改进 [23-26、56-58]。 最近的工作，特别是 Omnidata，在使用非常大的数据集进行训练的新场景的预测质量和泛化方面取得了重大进展。 这些在单个图像上的强大结果，以及单眼几何线索可以有效计算的事实，自然会引发这样的问题：这些模型是否能够提供隐式神经表面重建方法所需的额外约束，以处理更具挑战性的设置。
本文描述了一个称为 MonoSDF 的框架，用于将单目几何先验集成到神经隐式表面重建方法中：给定多视图图像，我们推断每个图像的深度和表面法线，并在优化过程中将它们与 RGB 一起用作附加监督信号 图像重建损失。 我们观察到这些先验导致重建质量显着提高，尤其是在无纹理和较少观察到的区域，如图 1 所示。 这是因为表面重建方法使用的光度一致性线索和单目网络使用的识别线索是互补的：虽然光度一致性在无纹理区域（如墙壁）中失败，但由于结构化的3D场景布局，可以在这些区域中可靠地预测表面法线。。 相反，照片一致性线索允许在纹理区域建立全局准确的 3D 几何形状，而法线和（相对）深度线索仅提供局部几何信息。
除了结合单眼几何线索外，我们还对隐式表面重建背景下基于坐标的神经表征的最先进设计选择进行了系统研究和分析。 更具体地说，我们研究了以下架构：单个大型 MLP、密集的 SDF 网格、单个特征网格和多分辨率特征网格。 我们观察到 MLP 在全局范围内发挥作用并表现出归纳平滑偏差，同时优化和评估的计算成本很高。 相比之下，基于网格的表示在优化和评估期间受益于局部性，因此它们在计算上更有效。 然而，对于稀疏视图或较少观察到的区域，重建噪声更大。 包括单目几何先验可以提高不同设置下的神经隐式重建结果，具有更快的收敛时间，并且与底层表示无关。
总之，我们做出了以下贡献： • 我们介绍了 MonoSDF，这是一种利用单目几何线索来提高神经隐式表面模型的多视图三维重建质量、效率和可扩展性的新型框架。 •我们对神经隐式表面表示的设计选择进行了系统的比较和详细分析，包括普通的 MLP 和基于网格的方法。 •我们对多个具有挑战性的数据集进行了广泛的实验，范围从 DTU 数据集上的对象级重建，副本和扫描网络上的房间级重建，到坦克和寺庙上的大规模室内场景重建。
Related Work
神经隐式场景表示的体系结构。 由于其表现力和低内存占用，神经隐式场景表示或神经场最近在表示 3D 几何方面受到欢迎。 开创性的作品使用单个 MLP 作为场景表示，并显示出令人印象深刻的对象级重建质量，但由于模型容量有限，它们无法扩展到更复杂或更大规模的场景。 后续工作将 MLP 解码器与低维特征的单级或多级体素网格相结合。 这种混合表示能够更好地表示精细的几何细节，并且可以快速评估。 但是，随着场景大小的增加，它们会导致更大的内存占用。 在本文中，我们对隐式表面重建的四种架构设计选择进行了系统比较。
多视图图像的 3D 重建。 从多视图图像重建底层三维几何是计算机视觉的长期目标。 经典的多视图立体 (MVS) 方法 [2、6–8、34、34、59–61] 考虑用于深度估计的特征匹配或用体素表示形状。 基于学习的 MVS 方法通常会替换经典 MVS 管道的某些部分，例如。 例如，特征匹配、深度融合或从多视图图像推断深度。 与经典 MVS 算法使用的显式场景表示相比，最近的神经方法通过具有连续输出的单个 MLP 表示表面。 纯粹从 posed2D 图像中学习，它们显示出吸引人的重建结果并且不会受到离散化的影响。 但是，需要准确的对象掩码。 受 NeRF 中基于密度的体积渲染的启发，它展示了令人印象深刻的无对象掩码视图合成，一些作品使用体积渲染进行无掩码的神经隐式表面重建。 然而，这些方法在具有无纹理区域的大规模场景中导致效果不佳。 在这项工作中，我们表明结合单目先验允许这些方法获得更详细的重建并扩展到更大和更具挑战性的场景。
将先验知识纳入神经场景表示。 一些研究人员提议结合深度平滑度、语义相似性或稀疏 MVS 点云等先验，以完成从稀疏输入合成新视图的任务。 相比之下，在这项工作中，我们的重点是隐式三维表面重建。 与我们的工作相关并同时进行的是 Manhattan-SDF，它使用来自 COLMAP 的密集 MVS 深度图作为监督，并采用曼哈顿世界先验来处理与墙壁、地板等相对应的低纹理平面区域。我们的方法基于对数据的观察 驱动的单目深度和正常预测为整个场景提供高质量的先验。 将这些先验结合到神经隐式曲面的优化中，不仅消除了曼哈顿世界假设，而且还提高了重建质量并简化了管道。
Method
我们的目标是从多个姿势图像中恢复底层场景几何，同时利用单眼几何线索来指导优化过程。 为此，我们首先回顾第 3.1 节中的神经隐式场景表示和各种设计选择，并在第 3.2 节中讨论如何对这些表示进行体绘制。 接下来，我们在第 3.3 节介绍我们在研究中研究的单眼几何线索，并在第 3.4 节讨论损失函数和整体优化过程。 图 2 提供了我们框架的概述。
图二：概述。 在这项工作中，我们使用由通用预训练网络预测的单目几何线索来指导神经隐式表面模型的优化。 更具体地说，对于一批光线，我们体积渲染预测的 RGB 颜色、深度和法线，并优化 wrt。 输入的 RGB 图像和单目几何线索。 此外，我们研究了神经隐式架构的不同设计选择，并提供了深入的分析。 为清楚起见，我们只显示 SDF 而不是上面的颜色预测分支。
3.1 隐式场景表示
我们将场景几何表示为带符号的距离函数 (SDF)。 带符号的距离函数是一个连续函数 f，对于给定的三维点，返回该点到最近表面的距离：
这里，x 是三维点，s 表示相应的 SDF 值。 在这项工作中，我们使用可学习参数 θ 对 SDF 函数进行参数化，并研究表示函数的几种不同设计选择：显式作为可学习 SDF 值的密集网格，隐式作为单个 MLP，或使用 MLP 与单个或多个组合的混合 -分辨率特征网格。
密集的 SDF 网格。 参数化 SDF 最直接的方法是将 SDF 值直接存储在分辨率为 RH×RW×RD 的离散化体积 Gθ 的每个单元中。 要从密集的 SDF 网格中查询任意点 x 的 SDF 值 s^，我们可以使用任何插值操作：
在我们的实验中，我们将 interp 实现为三线性插值。
单个 MLP。 SDF 函数也可以通过单个 MLP fθ 参数化：
其中 s^ 是预测的 SDF 值，γ 对应于将 x 映射到更高维空间的固定位置编码。 在引入新的视图合成之后，位置编码函数现在被广泛用于神经隐式表面重建，因为它们增加了基于坐标的网络的表现力。
带有 MLP 解码器的单分辨率特征网格。 我们还可以结合这两种参数化，并使用特征条件 MLP fθ 和分辨率为 R3 的特征网格 Φθ，其中网格的每个单元存储一个特征向量，而不是直接存储 SDF 值：
请注意，MLP fθ 以来自特征网格 Φθ 的插值局部特征向量为条件。 带有 MLP 解码器的多分辨率特征网格。 除了使用单个特征网格 Φθ，还可以使用具有分辨率 Rl 的多分辨率特征网格{Φlθ}L l=1。 分辨率在几何空间中采样以组合不同频率的特征：
其中 Rmin、Rmax 分别是最粗糙和最精细的分辨率。 类似地，我们提取每个级别的插值特征并将它们连接在一起：
随着网格单元总数的立方增长，我们使用固定数量的参数来存储特征网格，并使用空间哈希函数在更精细的层次上索引特征向量（详见补充）。
颜色预测。 除了 3D 几何之外，我们还预测颜色值，以便我们的模型可以通过重建损失进行优化。 接下来，我们因此定义第二个函数 cθ
预测三维点 x 和观察方向 v 的 RGB 颜色值 c^。三维单位法线 n^ 是我们的 SDF 函数的分析梯度。 特征向量 z^ 是 SDF 网络的第二个线性头的输出，如中所示。我们用具有网络权重 θ 的双层 MLP 参数化 cθ。 在密集网格 SDF 参数化的情况下，我们类似地优化密集特征网格并通过插值函数 interp 获得特征向量 z^。
3.2 隐式曲面的体绘制
在最近的工作之后，我们通过使用可微分体积渲染的基于图像的重建损失来优化第 3.1 节中描述的隐式表示。 更具体地说，为了渲染一个像素，我们从相机中心 o 投射一条光线 r，沿着它的观察方向 v 穿过像素。我们沿着光线采样 M 个点 x i r = o + t i rv 并预测它们的 SDF s i r 和颜色值 c i i 河 我们遵循将 SDF 值 s^i r 转换为密度值 σi r 以进行体绘制：
其中β是一个可学习的参数。 遵循 NeRF，当前光线 r 的颜色 C^® 通过数值积分呈现：
其中Ti r 和αi r 分别表示样本点i 沿射线r 的透射率和alpha 值，δi r 为相邻样本点之间的距离。 类似地，我们将与当前光线相交的表面的深度 D^® 和法线 N^® 渲染为：
**3.3 利用单眼几何线索 **
将体绘制与隐式曲面统一起来会产生令人印象深刻的 3D 重建结果。 然而，这种方法很难处理更复杂的场景，尤其是在无纹理和稀疏覆盖区域。 为了克服这一限制，我们使用现成的、可高效计算的单眼几何先验，从而改进神经隐式曲面方法。
单眼深度提示。 一种常见的单眼几何线索是单眼深度图，可以通过现成的单眼深度预测器轻松获得。 更具体地说，我们使用预训练的 Omnidata 模型来预测每个输入 RGB 图像的深度图 D¯。 注意，一般场景下，绝对尺度是很难估计的，所以D¯必须被认为是一个相对的cue。 然而，这种相对深度信息也在图像中的较大距离上提供。
单眼正常线索。 我们使用的另一个几何线索是表面法线。 与深度线索类似，我们应用相同的预训练 Omnidata 模型来获取每个 RGB 图像的法线图 N¯。 与提供半局部相关信息的深度线索不同，法线线索是局部的并且捕捉几何细节。 因此，我们期望表面法线和深度是互补的。
3.4 优化
重建损失。 当量。 (9) 提供了从 3D 场景表示到 2D 观察的链接。 因此，我们可以使用简单的 RGB 重建损失来优化场景表示：
这里 R 表示小批量中的像素/光线集，C® 是观察到的像素颜色。
Eikonal 损失。 按照惯例，我们还在采样点上添加一个 Eikonal 项，以正则化 3D 空间中的 SDF 值
其中 X 是一组均匀采样点和近表面点。
深度一致性损失。 除了 Lrgb 和 Leikonal，我们还加强了我们渲染的预期深度 D^ 和单眼深度 D¯ 之间的一致性：
其中 w 和 q 是用于对齐 D^ 和 D¯ 的比例和移位，因为 D¯ 仅按比例缩放。 请注意，这些因素必须按批次单独估计，因为为不同批次预测的深度图在比例和偏移方面可能不同。 具体来说，我们用具有封闭形式解的最小二乘准则求解 w 和 q（详见补充）。
正常一致性损失。 类似地，我们对体积渲染法线 N^ 和预测的单眼法线 N¯ 施加一致性，转换为具有角度和 L1losses 的相同坐标系：
我们用来与外观网络一起优化我们的隐式表面的总损失是：
实施细节。 我们在 PyTorch 中实现了我们的方法，并使用 Adam 优化器，神经网络的学习率为 5e-4，特征网格和密集的 SDF 网格的学习率为 1e-2。 我们分别设置λ1、λ2、λ3为0.1、0.1、0.05。 我们每次迭代采样 1024 条射线，并将引入的误差边界采样策略应用于沿每条射线的采样点。 对于 MLP 和特征网格，我们分别采用 和 的架构和初始化方案。 为了获得单眼线索，我们首先调整每个图像的大小并将其中心裁剪为 384×384，然后我们将其作为输入提供给预训练的 Omnidata 模型。 有关详细信息，请参阅补充资料。
4、 Experiments
我们首先分析不同的架构设计选择并进行消融研究。 具有完美地面实况的房间级数据集（副本）上的单眼线索和优化时间。 接下来，我们提供与真实世界室内场景中最先进基线的定性和定量比较。 最后，我们评估了我们在稀疏输入场景下的对象级重建方法。
数据集。 虽然以前的基于神经隐式的重建方法主要集中在具有多个输入视图的单个对象场景，但在这项工作中，我们研究了单目几何线索对于扩展到更复杂场景的重要性。 因此我们考虑：a）真实世界的室内扫描：Replica 和 ScanNet； b) 真实世界的大型室内场景：Tanks和Temples高级场景； c) 对象级场景：稀疏三视图设置中的 DTU。
基线。 我们比较了 a) 最先进的神经隐式曲面方法：UNISURF、VolSDF、NeuS 和 Manhattan-SDF。 b) 经典 MVS 方法：COLMAP 和最先进的商业软件 RealityCapture2。 c）具有预测单眼深度线索的 TSDF-Fusion，其中 GT 深度图用于恢复比例和移位值（参见（13））。 如果仅使用单眼深度线索而不使用隐式表面模型，则此基线显示重建质量。
评估指标。 对于 DTU，我们遵循官方评估协议并报告 Chamfer 距离。 对于 Replica 和 ScanNet，我们报告了倒角距离、阈值为 5cm 的 F 分数，以及遵循 [20,40,50,51,64,83] 的正常一致性。
4.1消融研究
我们首先分析副本数据集上的不同场景表示选择。 接下来，我们消除了几何线索对重建质量和收敛时间的影响。
图三：建筑消融研究。 比较神经隐式表面表示的不同设计选择，我们观察到由于缺少平滑度偏差，密集的 SDF 网格会导致嘈杂的重建。 MLP 和单分辨率。 菲亚。 网格改进了结果，但几何图形往往过于平滑而缺少细节。 使用 Multi-Res 可获得最佳结果。 菲亚。 网格。
场景表示的架构选择。 我们比较了第 3.1 节中介绍的四种不同场景几何表示，并报告了表 1 中副本数据集的平均度量。 请注意，这里没有使用单眼几何线索。 我们首先观察到使用单个 MLP 作为场景几何表示会产生不错的结果，但重建往往过于平滑（见表 1 和图 3）。 对于基于网格的表示，与所有其他神经隐式场景表示相比，优化密集的 SDF 网格会导致明显更差的性能，即使经过仔细的参数调整也是如此。 原因是缺少平滑度偏差：网格单元中的 SDF 值都是相互独立存储和优化的，因此没有局部或全局平滑度偏差起作用。 相比之下，单分辨率。 菲亚。 Grid 将每个网格单元中的 SDF 值替换为低维潜在代码，并使用以这些特征为条件的浅层 MLP 来读出任意三维点的 SDF 值。 这种修改导致密集网格上的重建质量显着提高，表现与单个 MLP 类似。 使用多分辨率。 菲亚。 网格进一步提高了性能。 我们观察到 Multi-Res。 菲亚。 Grids 是性能最好的基于网格的模型，从现在开始我们报告单个 MLP 和 Multi-Res 的结果。 特征网格。 为了简单起见，我们将在下文中将多分辨率特征网格称为多分辨率网格或网格。
不同线索的消融。 我们现在研究不同单眼几何线索对两种选定表示的有效性。 表 2(a) 和图 4 表明，对于两种表示，使用一个或两个单眼线索可以显着提高重建质量。 我们还发现这两种线索是互补的，同时使用两者时可获得最佳性能。 对于其他两个表示可以观察到类似的行为（参见补充）。 值得注意的是，当使用单眼线索时，两种表示之间的差异可以忽略不计，这表明它们可以作为提高重建质量的一般插入。
优化时间。 表 2(b) 显示了有和没有提示的两个场景表示的优化时间。 我们看到 Multi-Res。 网格比单个 MLP 模型收敛得更快。 此外，添加单眼线索可显着加快收敛过程。 在仅 10K 次迭代后，两种表示都比没有单眼线索的收敛模型表现更好。 请注意，将单眼线索纳入优化过程所需的开销很小，可以忽略不计。
图四：单眼几何线索的消融。 单目几何线索显着提高了两种架构的重建质量（我们展示了我们的 MLP 变体）。 使用单目深度线索，恢复的几何结构包含更多细节和更好的整体结构。 使用正常提示，添加缺失的细节并且结果变得更平滑。 使用这两种提示可以带来最佳表现。
表二:单眼几何线索的消融。 A。 ) 我们报告了 MLP 和 Multi-Res 副本的重建结果。 有和没有单眼几何线索的网格。 我们观察到单眼线索提高了两种架构的重建质量，并且组合使用这两种线索可以带来最佳性能。 b. ) 结合单眼线索时，优化速度明显加快。 比较这两种架构，我们观察到网格方法产生更快的收敛，而具有两种线索的 MLP 产生最好的结果。
4.2 真实世界的大规模场景重建
为了展示我们的大规模场景重建方法的有效性，我们在两个具有挑战性的大型室内数据集上与各种基线进行了比较。
扫描网。 在 ScanNet 上，我们使用 test split from 并遵循他们的评估协议，其中深度图是从输入相机姿势渲染的，然后使用 TSDF Fusion 重新融合以仅评估观察到的区域。 我们在表 3 中观察到，我们的两个变体都优于所有基线，实现了更平滑的重建和更精细的细节。 此外，我们发现 MLP 变体的性能明显优于使用 Multi-Res。 网格。 ScanNet 的 RGB 图像包含运动模糊，相机姿势也有噪声。 这可能对基于网格的表示中的局部几何更新有害，而 MLP 由于其平滑度偏差而对这种噪声更加稳健。
表三：ScanNet 上的场景级重建。 Colmap 和 VolSDF 不会导致竞争性重建。 Manhatten-SDF 取得了令人信服的结果，但观察较少的区域噪声较大且细节缺失。 相比之下，我们的方法重建光滑和细节的表面，取得了最好的结果。 此外，MLP 对相机姿势中的运动模糊和噪声更加稳健。
坦克和寺庙。 为了进一步研究我们的方法在更大规模场景中的可扩展性，我们在 Tanks 和 Temples 高级集上进行了实验。 图 1 中的定性结果表明，单眼线索显着提高了 VolSDF 的性能，使 MonoSDF 成为第一个在如此大规模的室内场景中取得合理结果的神经隐式模型。 有关更多视觉比较和讨论，请参阅补充资料。
4.3 从稀疏视图进行对象级重建
我们现在在另一个具有挑战性的任务上评估我们的方法：从稀疏重建单个对象
输入视图。 我们在 DTU 上采用 [75,76] 的测试拆分，并选择 [43] 之后的三个输入视图。
我们首先在表 4 和图 1 中观察到，在不使用单目几何线索的情况下，MLP(VolSDF) 和 Multi-Res 都没有。 网格仅适用于 3 个输入视图。 当结合这些线索时，两种表示的结果都会得到显着改善。 有趣的是，基于网格的表征性能不如单个 MLP，因为它们是在本地更新的，并且没有受益于整体 MLP 表征的归纳偏差。
与 TSDF Fusion 相比，TSDF Fusion 在没有任何优化的情况下将来自所有视图的预测深度线索融合到 TSDF 体积中，我们观察到由于单眼深度线索的不一致，该基线难以重建有意义的细节。 请注意，此基线使用 GT 深度图来计算深度线索的比例和偏移。 经典的 MVS 方法在数量上表现良好，但它们严重依赖密集匹配，并且在三个输入图像的情况下，这不可避免地导致不完整的重建（见补充）。 相比之下，我们的方法结合了神经隐式表面表示和单目几何线索的好处，这些线索对较少观察到的区域更加稳健。
5、总结
我们介绍了 MonoSDF，这是一种新颖的框架，系统地探索如何将单眼几何线索纳入多视图图像的神经隐式表面优化中。 我们表明，这种易于获得的单眼线索可以显着提高各种神经隐式表示的 3D 重建质量、效率和可扩展性。 当使用单眼线索时，简单的 MLP 架构总体上表现最好，这表明 MLP 原则上能够表示复杂的场景，尽管与基于网格的表示相比收敛速度较慢。 多分辨率特征网格通常可以快速收敛并捕获细节，但对输入图像中的噪声和模糊性不太稳健。
限制。 我们模型的性能取决于单眼线索的质量。 因此，处理单眼预测器故障的过滤策略是进一步提高重建质量的有前途的方向。 我们目前受到 Omnidata 模型的低分辨率（384×384 像素）输出的限制，并计划探索使用更高分辨率提示的不同方式。 场景表示和相机参数的联合优化是另一个有趣的方向，特别是对于多分辨率网格，以便更好地处理嘈杂的相机姿势。
