CVPR2019超分领域出现多篇,更接近于真实世界原理的低分辨率和高分辨率图像对应的新思路。具体来说,以前论文训练数据主要使用的是人为的bicubic下采样得到的,网络倾向于学习bicubic下采样的逆过程,这与现实世界原理不太相符。为了得到重建结果吗,要么采用psnr-oriented方式获得更高的psnr,要么采用perceptual-oriented获得更好的主观效果。但这与现实世界image system并不吻合,有可能会造成deterioration.
《zoom to learn,learn to zoom》
提出用单反相机的不同焦距作为网络训练数据。
感觉可以让一个普通相机拍摄的图片变成华为P30PRO样片的感觉,先看一下具体的模型训练结果,可以看到远处梯子的条纹清晰可辨,仿佛添加了一个单反长焦镜头![](https://img-blog.csdnimg.cn/20190425200023655.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
最大的贡献体现在一下几点:
1.抛弃以前RGB->RGB,使用RAW->RGB训练方式(RAW数据更原始,干净)
ablation实验表明这种方式的优越性
![](https://img-blog.csdnimg.cn/2019042520152035.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
![](https://img-blog.csdnimg.cn/20190425201259978.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
2.给出了一个新的(短焦距-长焦距)的数据集SR-RAW。例如70mm焦距图像是2*条件下,35mm焦距图像的groundtruth
![](https://img-blog.csdnimg.cn/20190425200135497.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
3.针对新数据集出现的对齐问题。借鉴contextual loss,提出CoBi一种新的主要针对非对齐数据的损失函数。
如图,新的数据集思路带来的对齐问题。Co损失函数只考虑了特征层面的距离而忽略了空间层面的,为此作者结合这两点,提出新的损失函数
![](https://img-blog.csdnimg.cn/2019042520031984.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
![](https://img-blog.csdnimg.cn/20190425200558937.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
![](https://img-blog.csdnimg.cn/2019042520062118.png)
![](https://img-blog.csdnimg.cn/20190425200942424.png)
新的损失函数带来的效果提升:
![](https://img-blog.csdnimg.cn/20190425200735343.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
4.最棒的是算法可以迁移到手机上使用,用一个小的手机数据集迁移,获得了很好的效果。
![](https://img-blog.csdnimg.cn/20190425201022596.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
最后实验证明这个算法比现有的state-the-art算法都要好。如果数据感觉不出什么的话,再贴两张比较惊艳的图
![](https://img-blog.csdnimg.cn/20190425201722983.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
Camera lens super-resolution
原理:resolution(R)与field of view(V)分辨率与视野大小的矛盾关系,(其实也是不同的焦距)
智能手机则是镜头和景物之间的距离关系。文章主要探索了使用新数据集得的LR重建效果明显优于bicubic或者gaussian得到的LR重建效果。
zoom in 和zoom out是摄像技术用语。zoom in 指(照相机等)用变焦距镜头使景物放大,即将景物推近;zoom out刚好相反,表示用变焦距镜头使景物缩小,即将景物拉远。
视野变大(zoom out),则关注的object的分辨率降低,视野变小(zoom in)则分辨率提高。
![](https://img-blog.csdnimg.cn/20190425205853335.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
长焦(单反),短距离(手机)获得的图像作为target。为此提出了一个新的数据集City100.主要是拍摄的贺卡上的景物建筑图片
![](https://img-blog.csdnimg.cn/20190426134842992.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
同样的,作者提出了有明显的对齐问题1.spatial misalignment 2.intensity variation 3.color mismatching
对应的解决措施
spatial misalignment:SIFT key-points match,RANSAC to estimate homograph
intensity variation:average the pixel intensities in the whole image
color mismatching:color checkboard and polynomial parameter for calibration
![](https://img-blog.csdnimg.cn/20190426134906610.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
后面文章通过实验数据和结果证实,通过BICUBIC、GAUSSIA(红色点处)得到的下采样的LR图片不如city100数据集。
![](https://img-blog.csdnimg.cn/20190426135335955.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
使用到了两种代表性的网络,一种psnr导向的VDSR,一种perceptual导向的SRGAN进行了对比试验
![](https://img-blog.csdnimg.cn/20190426135439617.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
![](https://img-blog.csdnimg.cn/20190426135748757.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
![](https://img-blog.csdnimg.cn/20190426135826788.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
最后证明了用在其他单反和手机上也能取得很好的效果。iphone X->huawei P20、三星S9。尼康->佳能
![](https://img-blog.csdnimg.cn/20190426140712622.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
![](https://img-blog.csdnimg.cn/20190426140751136.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAxODE1,size_16,color_FFFFFF,t_70)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)