CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

2023-05-16

CVPR2019超分领域出现多篇,更接近于真实世界原理的低分辨率和高分辨率图像对应的新思路。具体来说,以前论文训练数据主要使用的是人为的bicubic下采样得到的,网络倾向于学习bicubic下采样的逆过程,这与现实世界原理不太相符。为了得到重建结果吗,要么采用psnr-oriented方式获得更高的psnr,要么采用perceptual-oriented获得更好的主观效果。但这与现实世界image system并不吻合,有可能会造成deterioration.

《zoom to learn,learn to zoom》

提出用单反相机的不同焦距作为网络训练数据。

不用P30 Pro,普通手机也能变身望远镜:陈启峰团队新作,登上CVPR 2019

感觉可以让一个普通相机拍摄的图片变成华为P30PRO样片的感觉,先看一下具体的模型训练结果,可以看到远处梯子的条纹清晰可辨,仿佛添加了一个单反长焦镜头

最大的贡献体现在一下几点:

1.抛弃以前RGB->RGB,使用RAW->RGB训练方式(RAW数据更原始,干净)

ablation实验表明这种方式的优越性

2.给出了一个新的(短焦距-长焦距)的数据集SR-RAW。例如70mm焦距图像是2*条件下,35mm焦距图像的groundtruth

3.针对新数据集出现的对齐问题。借鉴contextual loss,提出CoBi一种新的主要针对非对齐数据的损失函数。

如图,新的数据集思路带来的对齐问题。Co损失函数只考虑了特征层面的距离而忽略了空间层面的,为此作者结合这两点,提出新的损失函数

                                       

新的损失函数带来的效果提升:

4.最棒的是算法可以迁移到手机上使用,用一个小的手机数据集迁移,获得了很好的效果。

最后实验证明这个算法比现有的state-the-art算法都要好。如果数据感觉不出什么的话,再贴两张比较惊艳的图

 

 

 

Camera lens super-resolution

原理:resolution(R)与field of view(V)分辨率与视野大小的矛盾关系,(其实也是不同的焦距)

智能手机则是镜头和景物之间的距离关系。文章主要探索了使用新数据集得的LR重建效果明显优于bicubic或者gaussian得到的LR重建效果。

 

zoom in 和zoom out是摄像技术用语。zoom in 指(照相机等)用变焦距镜头使景物放大,即将景物推近;zoom out刚好相反,表示用变焦距镜头使景物缩小,即将景物拉远。

视野变大(zoom out),则关注的object的分辨率降低,视野变小(zoom in)则分辨率提高。

长焦(单反),短距离(手机)获得的图像作为target。为此提出了一个新的数据集City100.主要是拍摄的贺卡上的景物建筑图片

同样的,作者提出了有明显的对齐问题1.spatial misalignment 2.intensity variation 3.color mismatching

对应的解决措施

spatial misalignment:SIFT key-points match,RANSAC to estimate homograph

intensity variation:average the pixel intensities in the whole image

color mismatching:color checkboard and polynomial parameter for calibration

后面文章通过实验数据和结果证实,通过BICUBIC、GAUSSIA(红色点处)得到的下采样的LR图片不如city100数据集。

使用到了两种代表性的网络,一种psnr导向的VDSR,一种perceptual导向的SRGAN进行了对比试验

最后证明了用在其他单反和手机上也能取得很好的效果。iphone X->huawei P20、三星S9。尼康->佳能

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》 的相关文章

随机推荐

  • phpstudy出现80端口被占用,占用进程为system

    背景 公司分配的电脑是还未离职的另外一位同事 主管要求我不能重装电脑 问题 使用这台电脑的phpstudy环境发现所调用的接口是9096端口 xff0c 在站点域名配置的时候发现一个很麻烦的问题 xff0c 就是在hosts文件设置127
  • Centos7安装vmware workstation

    VMware Workstation在windows环境中大家都会安装 xff0c 但是如何在Linux环境下安装呢 xff1f 1 你需要下载vmware workstation的Linux的安装包 xff0c 下载完后是个 bundle
  • QtCreator 远程调试 (win10亲测)

    一 终端设备环境搭架 实测终端设备是windows8 1 windows10都测试成功 xff1b 1 安装WinDbg xff0c 使用winDbg中的cdb exe来启动远程调试服务 xff1b 可下载Windows Kits进行安装D
  • VSCode 使用教程-3.设置主题文件图标与字体大小

    前言 VSCode 可以根据自己的喜好设置不同的主题 xff0c 字体大小也可以调整 设置主题 点开设置 颜色主题 按上下键可以切换主题 xff0c 看到预览效果 选好自己喜欢的主题 xff0c 点击就设置成功了 设置字体大小 编辑界面默认
  • ping 超时原因

    ping超时 xff0c 不通 xff0c 没结果主要有三方面参考 xff1a 网站服务器真的不通 xff0c 服务器出现故障了 xff0c 要联系服务器管理员处理 客户端电脑与服务器之间 xff0c 网络设备出现故障 xff0c 要通过路
  • 使用Rclone实现网盘挂载

    使用Rclone实现网盘挂载 xff08 Windows xff09 一 为啥要用Rclone 最近发现了一个 好 工具 RaiDrive 这是一款能够将一些网盘映射为本地网络磁盘的工具 xff0c 支持 Google Drive Goog
  • 最短路与动态规划(一)

    运筹学有时候面临的一种场景是求最短路 xff08 shortest path xff09 问题 xff1a 比如城市交通的网络设计 xff0c 芯片的表面设计等 解决这类问题常用离散动态规划 xff08 discrete dynamic x
  • Linux下C++内存泄露的检查方法

    方法目录 内存泄漏介绍内存检查工具一 valgrind内存检查工具二 AddressSanitizer 推荐 内存泄漏介绍 1 内存泄露 memory leak xff0c 是指程序在申请内存后 xff0c 无法释放已申请的内存空间 xff
  • Ubuntu 下设置不锁屏(不休眠)

    点击进入
  • Ubuntu 下的根目录为

    根目录为 xff1a 如果我们要进入tmp user里 xff0c 只需要输入cd tmp user 即可 例如 xff1a wangrui span class token annotation punctuation 64 bsp sp
  • MySQL8开启SSL加密

    1 概述 MySQL从5 7开始默认开启SSL加密功能 xff0c 进入MySQL控制台后输入status可以查看SSL的状态 xff0c 出现下图表示在使用SSL xff1a 另外 xff0c 加密连接需要密钥与证书 xff0c 可以使用
  • 服务器上的内容无法复制到本机

    服务器上的内容无法复制到本地 xff0c 显示 xff1a 复制文件或文件夹出错 xff0c 未指定的错误 打开远程桌面连接 本地资源 详细信息 勾选下面的几项 xff0c 确定 然后打开任务管理器 xff0c 查看是否有 rdpclip
  • linux ping报错Name or service not known

    设置静态ip以后忘记设置dns xff0c ping的时候报错 xff1a Name or service not known 添加dns即可 span class hljs title vi span etc resolv conf na
  • 如何为SUSE配置IP地址,网关和DNS

    方法一 在命令行中配置 输入 xff1a ifconfig eht0 9 111 66 96 netmask 255 255 255 0 up route add default gw 9 111 66 1 方法二 在文件中设置 示例参数
  • TCP协议理解和用法以及三次握手四次分手

    TCP协议 1 TCP网络分层 应用层 xff0c 传输层 xff0c 网络互联层 xff0c 网络访问层 xff0c 物理层 应 层 应 程序之间如何相互传递报 xff0c 如HTTP协议 传输层 传输层的作 是为两台主机之间的 应 进程
  • React 1.8踩坑,模块化引入less样式不生效

    在看一个 react 项目的时候 xff0c 项目中是直接引入 import style from 39 style less 39 create react app 创建项目之后 xff0c react 脚手架里面是已经集成了css xf
  • 做CV和做NLP,是否都有光明的未来?

    每天给你送来NLP技术干货 xff01 来自 xff1a 算法圈的小破事 作者 xff1a 疯狂试探皮皮虾 大家好 xff0c 我是在互联网危险边缘疯狂试探的皮皮虾 最近有点忙 xff0c 拖更了 xff0c 不知道有没有读者惦记皮皮虾推文
  • iOS UIAlertController使用汇总

    文章目录 1 xff64 UIAlertController显示普通的Alert2 xff64 UIAlertController显示带文本输入的的Alert3 xff64 UIAlertController显示ActionSheet 1
  • IOS 相机和相册的调用UIImagePickerController

    文章目录 UIImagePickerController类常用属性与方法UIImagePickerControllerDelegate代理协议举例准备工作 代码 在App开发时 xff0c 当我们需要调用摄像头拍照或者希望从相册中选择一张照
  • CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

    CVPR2019超分领域出现多篇 xff0c 更接近于真实世界原理的低分辨率和高分辨率图像对应的新思路 具体来说 xff0c 以前论文训练数据主要使用的是人为的bicubic下采样得到的 xff0c 网络倾向于学习bicubic下采样的逆过