程序员经验分享-hwhale

单幅图像场景理解，论文解读

2023-05-16

Karsch K, Liu C, Kang S B. Depth Transfer: Depth Extraction from Video Using Non-Parametric Sampling[J]. IEEE Transactions on Pattern Analysis \& Machine Intelligence, 2014 (11): 2144-2158.

已知RGB-D数据库，输入一幅RGB图像，使用GIST特征，找出其在数据库中的topK，然后利用SIFT flow把topK对应的深度图warp到输入图像上，针对K个深度图，使用能量优化的方法进行求解，得到输入图像的深度图。能量方程的建立何求解是亮点，其余都是Ce Liu两篇论文的基础，2011年PAMI：SIFT flow和Non-Parametric。此外，该项工作在视频2D-to-3D效果很不错。


Saxena A, Chung S H, Ng A Y. Learning depth from single monocular images[C]//Advances in Neural Information Processing Systems. 2005: 1161-1168.

3个尺度，每个尺度上的patch以及4领域，3*5=15，A0垂直方向上4个，每个patch与17个滤波器作卷积，（卷积乘方1，2）得到34个结果，（15+4）*34作为绝对深度特征。相对深度特征，每个patch与17个滤波器卷积，得到很多运算结果，使用10bins的直方图，相当于每个patch有170维的特征，垂直两个邻近的patch特征向量相减，结果作为相对深度特征，最后使用MRF来学习参数模型。


Saxena A, Chung S H, Ng A Y. 3-d depth reconstruction from a single still image[J]. International journal of computer vision, 2008, 76(1): 53-69.

相比前一篇，该篇论文增加利用立体视差得到深度的数据项。


Saxena A, Sun M, Ng A Y. Make3d: Learning 3d scene structure from a single still image[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2009, 31(5): 824-840.

分割为很多superpixels，建立深度与超像素参数之间的关系，特征选取与前面相同，然后建立MRF模型：第一项建立图像特征与平面参数之间的关系，目标是每个超像素里的深度与ground-truth保持一致；第二项分为三个部分，第一部分，邻域的超像素，3D Model除了遮挡的关系，很可能是相连接的，目标是两个超像素相连接的区域深度一致。第二部分，假如邻域超像素之间有相似的特征，没有边沿存在，那么3D Model很可能是共面的，目标是沿着某一方向，相机到两个超像素的深度相同。第三部分，图像平面是直线，那么3D Model也是直线，目标是在3D Model中，一条直线通过一个superpixel，相机沿着某方向到另一个超像素的深度与到这条直线的深度相同；第三项是多幅图像根据视差估计得到的深度。最后使用线性规划求解。


Fouhey D F, Gupta A, Hebert M. Unfolding an indoor origami world[M]//Computer Vision–ECCV 2014. Springer International Publishing, 2014: 687-702.   

定义容易识别和可推断三维结构的基元，对大量通过HOG检测过的patch以及增加的负样本，进行聚类得到基元（很多个），然后使用学习到的基元对输入图像进行3D场景解释，得到法向量，其方法与depth transfer相类似。


Fouhey D F, Gupta A, Hebert M. Data-driven 3D primitives for single image understanding[C]//Computer Vision (ICCV), 2013 IEEE International Conference on. IEEE, 2013: 3392-3399.

找到单幅图像的三个消隐点，每两个消隐点通过光速扫描可以得到一个网格平面，建立三个网格与图像对应位置的对应关系，确定图像某个区域是取哪个网格里哪个cell的值，使用第一篇论文的label transfer的方法，然后smooth，再引入凸结构或者凹结构的边进行推断相邻表面的法向量，保证推断结构的准确性和完整性。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

单幅图像场景理解，论文解读 的相关文章

  • Ubuntu 16.04 使用docker资料汇总与应用docker安装caffe并使用Classifier（ros kinetic+usb_cam+caffe）

    Docker是开源的应用容器引擎 若想简单了解一下 xff0c 可以参考百度百科词条Docker 好像只支持64位系统 Docker官网 xff1a https www docker com Docker 从入门到实践 xff1a http

  • Ubuntu与ROS的Docker桌面系统与ROS在线练习课程（在线Linux虚拟机）

    ROS在线练习课程正在逐步完善中 xff0c 目前以ROS官网中文资料制作 xff0c 可参考 xff1a https www shiyanlou com courses 854 邀请码 U23ERF8H 安装Ubuntu 43 ROS对于

  • 用于ARM和Debian的ROS Docker镜像

    这里推荐两个链接 xff1a 1 Using ROS with Docker in macOS xff1a https www xiaokeyang com blog using ros with docker in macos 2 Get

  • 2021电赛F题之openmv巡线(附代码)

    效果展示 xff1a 出错解决方法 openmv数字识别源代码 gitee 通过使用不同阈值的方法可以得到当前区域中什么区域有红线 xff0c 对于电控而言作用类似于红外对管 xff0c 之后电控通过逻辑判断如何运动 xff0c 这就是我们

  • 元学习—模型不可知元学习(MAML）

    元学习 模型不可知元学习 MAML 在之前的文章中 xff0c 我们介绍了神经图灵机和记忆增强网络 MANN xff0c 主要介绍了其对于内存中信息的读取与写入 有兴趣的读者可以参考我之前的博客元学习 神经图灵机 在今天的文章中 xff0c

  • 俩小伙一晚上写了个 AI 应用，月入两万？？(文末附开发教程)

    开发出一款能够与 AI 对话生成和编辑思维导图的工具 xff0c 听起来似乎只能是一群专业的 AI 背景团队花费大量的时间和精力训练模型 xff0c 打磨应用才能完成的事情 但是 xff0c 两名大学生却在一夜之间完成了 xff0c 就像炼

  • 解决AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using local

    一 启动apache遇到错误 xff1a httpd Could not reliably determine the server s fully qualified domain name 二 修改配置 vim etc httpd co

  • java 多线程CompletableFuture用法

    引用 span class token keyword private span span class token keyword final span span class token class name ThreadPoolTaskE

  • 注册表的解释和一些简单的修改

    注册表的解释和一些简单的修改 一 HKEY CLASSES ROOT根键 此根键中主要记录着Windows 95 98中所有的文件类型 xff0c 包括安装操作系统时约定注册的和由于以后安装软件而新加载的各种文件类型 xff0c 并将不同的

  • Java数据类型

    JAVA的数据类型体系 Java数据类型总结 java中的数据类型分两大类分别是数据类型和引用数据类型 1 Java中的数据类型有八种 xff0c 即基本类型 具体如下 xff1a 数据类型 位数 取值范围 xff1a Boolean 1

  • Python模拟登录CSDN

    关于CSDN的模拟登录 xff0c 网上已经有相当一部分博主发过类似的文章 xff0c 我这里不过稍稍模仿下 xff0c 使用前辈们的经验时 xff0c 还是非常感激的 具体过程如下 xff1a xff08 1 xff09 确定登录页面的表

  • 关于rosbag的使用和问题

    一开始想使用rosbag来录一下 cmd vel来使机器人走固定路径 xff0c 但是开始录制的和回放的总不一样 后来总结了两点 xff1a 1 xff09 往想方向存在跑 xff0c 试一下 xff0c 跑的路径短一点 2 xff09 操

  • VIO的应用和研究进展

    1 2 有哪些常见的视觉 43 IMU 融合方案 xff1f 有没有工业界应用的例子 xff1f 1 常见的视觉 43 IMU融合方案 a 优化方法 VINS OKVIS ORB 43 IMU SVO 43 GTSAM b 滤波方法 rov

  • 【UNIX环境高级编程】UNIX基础知识

    UNIX环境高级编程 UNIX基础知识 1 UNIX体系结构 从严格意义上 xff0c 可将操作系统定义为一种软件 xff0c 它控制计算机硬件资源 xff0c 提供程序运行环境 xff0c 我们称这种软件为内核 内核的接口称为系统调用 公

  • kubernetes单个pod运行两个容器yaml文件实践

    kubernetes单个pod运行两个容器yaml文件实践 1 rc的yaml文件 apiVersion v1 kind Replicationtroller metadate name baolei rc spec replicas 1

  • 两个python切换

    安装好后 xff0c 使用activate激活某个环境 activate python34 for Windows source activate python34 for Linux amp Mac 激活后 xff0c 会发现termin

  • nvidia jetson nano 操作指南

    硬件购买以及注意点 购买硬件之后在网卡后面有个短路帽要加上 xff0c 否则无法开机 系统安装 nvidia jetson nano系统安装在SD卡中 xff0c 请预先准备一个32G的SD卡 系统安装步骤请参考官网 Getting Sta

  • mysql 保留两位小数（四舍五入）

    1 round 保留两位小数 xff0c 缺点是java接受数据的时候要使用double类型 xff0c 而且对于没有两位小数的数 xff0c 会保留两位小数本身 xff01 2 format xff08 xff09 不够两位的补两位 xf

  • 解决axios的post传参服务器无法接收的问题

    问题描述 xff1a 我在使用axios的post方法进行传参时 xff0c 后端无法接收到传递参数 xff0c 查看浏览器发现 xff0c 其传递方式竟然是 request payload xff0c 而不是from data 解决方法

  • tcp11种状态

    https www cnblogs com yinbiao p 11015018 html

随机推荐

  • The authenticity of host 192.168.0.xxx can‘t be established.　的问题

    ssh登录 The authenticity of host 192 168 0 xxx can t be established 的问题 scp免密码登录 xff1a Linux基础 scp免密码登陆进行远程文件同步 执行scp一直是OK

  • yum安装scp

    yum安装scp yum install openssh clients y

  • mysql枚举类型

    1 使用枚举类型的好处 对数据进限定 xff0c 增加其安全性查询速度更快操作更加方便 2 枚举类型的应用 创建 test 数据库 create database span class token function test span ch

  • django将model示例转化为dict

    1 示例说明 以下示例是在 django shell 完成的 xff0c User 表为 django内建表 2 示例演示 2 1 进入 django shell python manage py shell 2 2 进入后 shell显示

  • 解决sftp无法上传文件的问题

    上传单个文件报错 sftp span class token operator gt span put hahaha Uploading hahaha to hahaha remote open span class token punct

  • 宝塔面板报错

    换用浏览器即可

  • 解决linux的centos版本修改时间重启后无效的问题

    转 解决linux的centos版本修改时间重启后无效的问题 centos7系统时间与硬件时间同步

  • vim编辑器删除所有内容

    命令行下输入 d

  • （思科、锐捷、华为）交换机配置snmp（学习笔记）

    SNMP 的作用 xff1a xff08 1 xff09 可以以图标的方式显示思科路由器 交换机的带宽使用情况 xff0c 可以按端口 数据流向等分类 xff08 2 xff09 以图形方式显示网络错误 比如crc错误 xff08 3 xf

  • GitHub分支（branch）合并

    转载自 xff1a http blog csdn net loadsong article details 51591536 侵删 本地两个分支合并 先从最简单的一种情况着手 现在项目只有一个 master 分支 xff0c 我来新建一个

  • YOLO选择出只有某一类的检测框并将框保存在txt中

    YOLO是用来检测的 小肚就是来将物体检测出 xff0c 并用物体进行识别 xff0c 所以YOLO只是一个预处理过程 安装和命令行运行检测在官网上都有 xff0c 但是唯一的就是 xff0c 我想要的只有person这一类 xff0c 并

  • linux防火墙ifirewalld详解

    文章目录 firewalld 介绍firewall的基本概念firewall cmd 配置防火墙富规则配置直接规则配置 firewalld 介绍 在CentOS 7里有几种防火墙共存 xff1a firewalld iptables ebt

  • 【JAVA并发】Semaphore：信号量的使用

    一 什么是 Semaphore Semaphore 也叫信号量 xff0c 在 JDK1 5 被引入 xff0c 主要用于在多个线程访问多个共享资源的场景下 xff0c 通过协调各个线程 xff0c 来保证合理的资源访问 例如数量有限的餐厅

  • switch....case写的界面如何返回上一级

    1 在每一个switch case外套一个while循环 import java util Scanner class Menu1 void showLoginMenu System out println 34 t t欢迎使用我行我素管理

  • Android AndroidManifest.xml

    package 主程序包的包名 xff0c 它也是一个应用进程的默认名称 versionCode 给设备程序识别版本 升级 用的必须是一个interger值代表app更新过多少次 xff0c 比如第一版一般为1 xff0c 之后若要更新版本

  • Android 全局变量 Application

    MainActivity span class token keyword public span span class token keyword class span span class token class name MainAc

  • 博客搬家

    博客搬家三次 xff0c 因CSDN原因 xff0c 一直失败 终于在上周搬家成功 博客新址 xff1a https www cnblogs com zhangxuechao 我真是无语了 xff0c 满屏的广告 xff0c 像看电影一样

  • netfilter

    通俗的说 xff0c netfilter的架构就是在整个网络流程的若干位置放置了一些检测点 xff08 HOOK xff09 xff0c 而在每个检测点上登记了一些处理函数进行处理 xff08 如包过滤 xff0c NAT等 xff0c 甚

  • Linux挂载Windows文件夹

    sudo mount t cifs o user 61 username Windows用户名 o uid 61 myname password 61 pass Linux用户名 密码 o gid 61 users o defaults m

  • 单幅图像场景理解，论文解读

    Karsch K Liu C Kang S B Depth Transfer Depth Extraction from Video Using Non Parametric Sampling J IEEE Transactions on

热门标签