有没有办法在 python/opencv 中从单摄像头视频生成实时深度图?

2024-01-09

我试图将单个图像转换为其深度图,但我找不到任何有用的教程或文档。

我想使用 opencv,但是如果您知道使用张量流等获取深度图的方法,我很高兴听到它。

有很多关于立体视觉的教程,但我想让它更便宜,因为它是一个帮助盲人的项目。

我目前正在使用 esp32 cam 逐帧流式传输,并使用 opencv 在 python 上接收图像。


通常,我们需要一个光度测定从世界的不同位置进行测量以形成几何的对世界的理解(又名深度图)。对于单个图像,无法测量几何形状,但可以从先前的理解中推断出深度。

One way要使单个图像发挥作用,就是使用基于深度学习的方法来直接推断深度。通常,基于深度学习的方法都是基于Python的,所以如果你只熟悉python,那么这就是您应该采用的方法。如果图像足够小,我认为这是可能的realtime表现。使用 CAFFE、TF、TORCH 等的此类工作有很多。您可以在 git hub 上搜索更多选项。我在这里发布的是我最近使用的

参考: 戈达尔、克莱门特等人。 “深入研究自监督单目深度估计。” IEEE 计算机视觉国际会议论文集。 2019.

源代码:https://github.com/nianticlabs/monodepth2 https://github.com/nianticlabs/monodepth2

另一种方法就是使用大FOV视频进行基于单相机的SLAM。这个有各种限制,例如需要良好的功能、大视场、慢动作等。您可以找到许多这样的工作,例如 DTAM、LSDSLAM、DSO 等。还有一些来自 HKUST 或 ETH 的其他软件包可以完成这些工作给定位置的映射(例如,如果您有 GPS/指南针),一些著名的名称是 REMODE+SVO open_quadtree_mapping 等。

基于单摄像头的 SLAM 的一个典型示例是 LSDSLAM。它是一个realtime SLAM.

这个是基于ROS-C++实现的,我记得他们确实发布了深度图。你可以写一个python节点直接订阅深度或者全局优化的点云并将其投影成任意视角的深度图。

参考文献:Engel、Jakob、Thomas Schöps 和 Daniel Cremers。 “LSD-SLAM:大规模直接单目 SLAM。”欧洲计算机视觉会议。施普林格,查姆,2014。

源代码:https://github.com/tum-vision/lsd_slam https://github.com/tum-vision/lsd_slam

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

有没有办法在 python/opencv 中从单摄像头视频生成实时深度图? 的相关文章

随机推荐

  • Android LocationManager 网络提供商返回 null

    我想使用 Android 应用程序获取我的 GPS 坐标 我开始开发 我可以获取GPS坐标 但它们不准确 我想使用 NETWORK PROVIDER 但该提供程序的位置始终为空 更有趣的是 isProvicerEnabled 返回 true
  • 通过 url 参数根据区域设置在 nginx 上设置自定义 404 错误页面

    我正在运行最新的稳定版本Nginx on GNU Linux操作系统并拥有以下虚拟主机 我正在尝试setup custom localized 404 error pages avoiding if但我总是陷入重定向循环 到目前为止 我只考
  • 对齐 html 电子邮件中表格中的数据单元格元素

    我有一个如下所示的屏幕截图 我必须在 HTML CSS 中复制它 附件是fiddle https jsfiddle net dehg79qs embedded result我现在可以复制它 我正在编写 HTML 电子邮件代码 因此这就是我在
  • 等待 asyncio.Future 会引发并发.futures._base.CancelledError,而不是等待设置值/异常

    当我运行以下 python 代码时 import asyncio import logging logging basicConfig level logging DEBUG async def read future fut print
  • 使用bundle exec运行rails控制台

    当我执行时bundle exec rails c我得到一个带有以下提示的 ruby 控制台 Loading development environment Rails 3 0 3 jruby 1 6 3 001 gt 一切看起来都按顺序进行
  • 将 console.log 转换为输出到 div

    我正在使用本主题中的简单 rss feed 解析器示例 Rss 解析器示例 https stackoverflow com questions 10943544 how to parse an rss feed using javascri
  • 应用程序关闭时发送通知

    当应用程序完全关闭时 如何以编程方式发送通知 示例 用户关闭了应用程序 也在 Android 任务管理器中 然后等待 应用程序应在 X 秒后或当应用程序检查更新时发送通知 我尝试使用这些代码示例 但是 应用程序关闭时推送通知 https s
  • sbt-assemble:跳过特定测试

    我想配置sbt assembly跳过特定的测试课程 有什么办法可以做到这一点吗 如果有帮助 我使用 ScalaTest 标记了测试 Network tag See 具有共享源的附加测试配置 http www scala sbt org 0
  • 0 在socket()系统调用中表示什么?

    下一行中的 0 表示什么 我还可以使用哪些其他标志 server socket AF UNIX SOCK STREAM 0 正如其他人可能所说的那样 第三个论点socket一般是一个int指示协议 0表示调用者不想指定协议并将其留给服务提供
  • 在 OSX 10.8 SDK/objective-c 中拖动按钮

    我开始使用 Objective Ctoday为了开发 OSX 山狮 的应用程序 我有一堆按钮 我想将它们拖到其他对象中 例如文本字段 我按照苹果开发网站上的教程进行操作 但我无法让拖动部分工作 放置部分工作 例如 我可以将文件从查找器拖到文
  • 低 RAM 消耗 C++ 特征求解器

    我是新手C 编程 但我有一个任务来计算特征值和特征向量 标准特征问题Ax lx 对于对称矩阵 和厄米矩阵 对于尺寸非常大的矩阵 二项式 L L 2 where L大约是18 22 现在我正在具有大约 7 7 GB 可用内存的机器上进行测试
  • 为什么我的重载 C++ 构造函数没有被调用?

    我有一堂这样的课 class Test public Test string value Test bool value 如果我创建一个像这样的对象 Test test Just a test bool 构造函数被调用 有人知道为什么吗 T
  • PHP使用session来选择下拉选项

    我已经获得了此上传表单 并且希望保留会话中下拉列表中的所选选项 以便在提交后显示最后的选择 例如我选择 颜色 选项 提交后颜色仍然在下拉列表中选择 我回显 SESSION testname 就在第一个单选按钮之前 它给我返回 颜色 但在选项
  • JQuery 中的简单 SQL 查询生成器

    我正在尝试找到一个类似于 SQL 查询生成器插件的简单查询生成器界面http plugins jquery com project SQL QUERY BUILDER http plugins jquery com project SQL
  • 是否可以乐观地更新端点的所有缓存?

    在 redux 教程中 我们学习了如何执行乐观更新 第 8 部分 rtk query advanced implementing optimistic updates https redux js org tutorials essenti
  • 将 4 字节消息头从 C# 客户端发送到 Java 服务器

    我正在尝试为用 Java 编写的服务器编写一个 C 客户端 服务器需要一个 4 字节 Java 中的 DataInputStread readInt 消息头 后跟实际消息 我对 C 完全陌生 如何将此消息头发送到 Java 服务器 我尝试了
  • 如何删除 Google OAuth2gapi 事件侦听器?

    我真的很难理解如何删除谷歌gapi事件监听器 下面粗体是所讨论的完整功能 window gapi auth2 getAuthInstance isSignedIn listen onAuthChange 我想在 useEffect 挂钩中使
  • 如何使用量角器通过文本查找并单击表格元素?

    tr Some Text tr 我见过其他一些类似的问题 但我还无法解决 这就是我到目前为止所尝试过的 element all by repeater column in columns findElement by id code get
  • `sequenceA` 是如何工作的

    我是 Haskell 新手 想了解它是如何工作的 sequenceA 3 2 1 3 我从定义开始 sequenceA Applicative f gt f a gt f a sequenceA pure sequenceA x xs lt
  • 有没有办法在 python/opencv 中从单摄像头视频生成实时深度图?

    我试图将单个图像转换为其深度图 但我找不到任何有用的教程或文档 我想使用 opencv 但是如果您知道使用张量流等获取深度图的方法 我很高兴听到它 有很多关于立体视觉的教程 但我想让它更便宜 因为它是一个帮助盲人的项目 我目前正在使用 es