近期deep learning做图像质量评价(image quality assessment)的论文4

2023-11-19

1、2017会议论文ICME:An accurate deepconvolutional neural networks model for no-reference image quality assessment,复旦大学。

1.1用了部分残差网络(ResNet)的知识,但是只用了两层残差网络。并且,该网络的输入为32*32的块,其label是用FSIM计算得到的。

       ---- 其中sum1是指conv2输出的feature map和conv3输出的feature map进行pixel-wise的相加。

1.2参数的设置:input:32*32,没有任何预处理,非重叠取块;损失函数:1范数;Learning rate的初始值为0.01,每过5个epoch,learning rate下降10倍,learning rate等于0.0001时,就固定不变了;80 epoches。在LIVE和TID2008数据库上进行试验,LIVE:PLCC-0.974,SRCC-0.971; TID2008:PLCC:0.957,SRCC:0.939。实验时,并没有将数据库分成train data (80%)和test data(20%), 原因论文中也讲了,作者用FSIM计算每一个image patch的分数,当成是image patch的label。其实,这类方法很多论文都出现过,但是用FSIM计算image patch的label,好像是第一次见到。(这类方法就是opinion-unaware)。!!!!需要注意的是,以为TID2008数据库中包含的失真类型太多,大部分论文都只使用部分data去做train和test(几种常见的失真)。

评论:感觉这种方法是有别于用FR method去计算whole image的label,为什么这样讲?比如FSIM,它在LIVE数据库上的性能顶多就是0.96左右,没记错的话。deep learning就算完全学到了一个映射函数f, 给能让输入的distorted image输出就为FSIM,该算法的性能也无法比FSIM好。什么意思呢?我指的是用FR method计算whole label, 算法的性能应该会受到FR method的影响。(瞎扯,说错了恳请批评)

(几篇用FR方法计算whole image label的论文: 2016NC:Learning a blind quality evaluation engine of screen content images, 2017TSMCS: Toward a blind quality predictor for screen content images, 2017TIP:No reference quality assessment of screen content pictures, 推荐的都是Screen content image quality assessment的文章)

2、2017TIP:Deep Neural Networks for No-Reference and Full-Reference Image QualityAssessment.

此论文提出了两个框架,一个是FR,另外一个是NR的,框架都差不多!。

---FR framework:

        输入为reference patch和distorted patch (感觉输入其实是reference image和distorted image, 因为论文中有讲到,each min-batch contains 4 images, 从每一张image中随机提取32个图像块。作者又提到:Although it is possible to treateach image patch as a separate sample in the case of the patch-wise method,image patches of the same image cannot be distributed over differentmini-batches, as their output is combined for the calculation of the normalizedweights in the last layer!!! 看到这,应该懂了。我觉得batch size应该就是4了,文中说batch size 是128,我可能理解错了)

---网络使用的是VGG,因为论文image patch size设置成了32*32,所以经过conv3-32,conv3-32, max-pool, conv3-64, conv3-64,max-pool,conv3-128, conv3-128,max-pool, conv3-256,conv3-256,max-pool, conv3-512, conv3-512(pool size设置的是2*2). 所以output是512*1的向量。上通道和下通道的features通过concat,变成一个1536维向量。后面接全连接,计算patch weight和patch quality. 这个框架图特别扯(输入是patch, 输出是image quality estimate??? 还有pooling那一块,一个image patch算出的应该是一个值,怎么通过pooling???)。综上所述,认为这篇论文其实和下面的论文(3/4)思路是一样的。只是换了一下网络。

---NR Framework:



NR和FR的框架是一样的。

3、2017TJSTSP:Fully deep blind image quality predictor

----所提出的算法主要包括两部分:step 1 and step 2.

----step 1


输入:32*32的图像块,在提取图像块的时候,先经过local contrastnormalization (详细计算可以参考BRISQUE这篇论文,非常经典的NR IQA的论文)。

预处理:并不是所有的图像块都包含有用的信息,如背景。去除一些low spatial variations的图像块,具体操作没讲。论文NIQE、IL-NIQE和QAC里面也有提到块的选择问题。 输出Label:和一些论文一样,使用FR methods计算块的分数,作为label。本论文使用四种FR methods:SSIM, GMSD, FSIM, VSI。没看懂怎么融合成一个分数的!!!

公式如下:

----step 2: 输入是整张图像,提取每一个块,输入step 1获得的网络中,每一个图像块都对应100维特征,N个图像块,得到100*N进行两种权重,包括:均值和方差。特征维度降成100*2,输出为主观分数。



4、有时间再添加

2017TIP:Blind deep S3D image quality evaluation vialocal to global feature aggregation和2017IJSTSP:Full deep blind image quality predictor一样的套路。框架如下:


        Step1:选用于3D图像质量评价的FR方法[1], 计算3D图像块的分数。提一下3D图像,刚好研究过小段时间,3D图像是由左视图和右视图组成的。在3D IQA database中,distortion分为对称失真和非对称失真。对称失真指的是左右视图受到同样的伤害,比如左视图被Gaussian noise污染了,右视图同样也被Gaussian noise污染了,非对称失真指的是左右视图受到不一样的伤害,比如左视图被Gaussian blur污染了,右视图被contrast change污染了,等等。3D IQA的performance也已经很高了。

       Step2:同2017IJSTSP:(恩,这篇论文是发在TIP上.....)

[1]M. J. Chen, C. C. Su, D. L. Kwon, L. K. Cormack, and A. C. Bovik, “Full-referencequality assessment of stereopairs accounting for rivalry,” Signal Processing:Image Communication, vol. 28, pp. 1143-1155, 2013.

       简单聊一下这篇论文:算是我看的第一篇3D IQA的论文。它提出了一个LIVE 3D database。首先,它提出了一种方法,可以将3D image合成一张2D image。在此基础上,用M-SSIM算法计算reference 3D image和distorted 3D image的相似性。

       M-SSIM是多尺度结构相似性算法。图像downsample/downsample…计算每个尺度的SSIM值,再综合起来。





本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

近期deep learning做图像质量评价(image quality assessment)的论文4 的相关文章

  • PHP的语法

    h3 h3 p p 1 语言标记 开始标记 中间写PHP代码 2 echo 输出内容 3 语句结束符 是结束符 代码碰到 号 才表示一句代码完成 标记里的最后一行 可以不用 号 但是养成习惯
  • 2023年计算机科学与信息技术国际会议(ECCSIT 2023)

    会议简介 Brief Introduction 2023年计算机科学与信息技术国际会议 ECCSIT 2023 会议时间 2023年12月15日 17日 召开地点 中国 北海 大会官网 www eccsit org 2023年计算机科学与信
  • Linux查看当前文件夹的大小

    在Linux中 可以使用du disk usage 命令来查看当前文件夹的大小 以下是一些使用du的方法 查看当前文件夹的大小 为了查看当前文件夹的总大小 可以在文件夹中运行 du sh 这里 s 表示摘要模式 只显示总计 h 表示人类可读

随机推荐

  • ElasticSearch - function_score 实例说明

    官方说明 function score 通过实例说明 先准备数据和索引 在ES插入三笔数据 其中language是keywork类型 like是integer类型 代表点赞量 language java like 5 language py
  • 《QDebug 2023年3月》

    一 Qt Widgets 问题交流 二 Qt Quick 问题交流 三 其他 1 Qt qmake 在 Mac 上生成 dylib 相关的问题 默认的 lib 工程 qmake 输出如图 会生成带版本号的软链接 一般我们只需要一个 lib
  • 二分法求左右边界

    二分法求左右边界搞定 鉴于本人每次做二分的题都被二分的边界搞的云里雾里的 所以这次直接一劳永逸 道理我都懂 就是之前不想整理 直接定义left和right为左闭右闭 这个很重要 当然二分也要求数组必须是有序的 比如 数组长度为10 则lef
  • 新唐NUC980使用记录(5.10.y内核):u-boot & linux & rootfs 编译与烧录测试(基于SD1位置SD卡)

    文章目录 目的 基础准备 烧录环境 开发编译环境 SD卡分区 制作和设置编译工具链 制作toolchain和rootfs 拷贝rootfs内容到SD卡 设置编译工具链 u boot编译与测试 下载 配置与编译 烧录u boot与环境变量 l
  • Java 正则表达式工具类大全

    import java util regex Matcher import java util regex Pattern author nql Description 验证工具类 date now public class Validat
  • Matlab 超前滞后相关,自相关xcorr

    Matlab提供了计算互相关和自相关的函数xcorr函数 1 使用方法 c xcorr x y c xcorr x c xcorr x y option c xcorr x option c xcorr x y maxlag
  • linux函数库之htons(), ntohl(), ntohs(),htons() 函数

    linux疑难问题排查实战 分享了作为公司专家 在项目开发过程中内存优化 堆 栈 代码段 数据段 性能优化 死机 栈越界 堆越界 死锁等疑难问题排查的案例 使用的工具 perf asan strace memleak等 工作经验 大家可以点
  • Linux中的firewall-cmd

    2023年8月4日 周五上午 目录 打开端口 关闭端口 查看某个端口是否打开 查看当前防火墙设置 firewall cmd中的服务 在防火墙中什么是服务 为什么会有服务 打开或关闭服务 查看某个服务是否打开 firewall cmd中的 z
  • Unity MRTK使用详解(Htc vive+LeapMotion)

    MRTK Unity是一个由Microsoft驱动的开源项目 提供了多种组件和功能 用于加速Unity中的跨平台MR应用程序开发 以下是其一些功能 提供跨平台输入系统和用于空间交互和UI组件 启用快速原型通过在编辑器中的模拟 让你马上看到变
  • 在vscode内运行php代码文件

    一 下载php 下载php链接 下载后解压缩文件 我新建了一个php文件夹在解压缩到这里 二 下载Xdebug 下载Xdebug链接 下载后复制粘贴到php文件夹下的ext文件夹 三 修改 在php文件夹下找到这两个文件夹 复制第一个文件夹
  • Hudi原理

    1 摘要 Apache Hudi提供了不同的表类型供根据不同的需求进行选择 提供了两种类型的表 Copy On Write COW Merge On Read MOR 2 术语介绍 在深入研究 COW 和 MOR 之前 让我们先了解一下 H
  • checking for module ‘sqlite3‘ package ‘sqlite3‘ not found

    checking for module sqlite3 package sqlite3 gt 某个版本号 not found 在编译安装其他源码包的时候遇到缺少sqlite3库的问题 这里字面上的意思是没有安装sqlite3 但是造成这个问
  • (python)常见面试题

    1 一行代码实现1 100之和 2 如何在一个函数内部修改全局变量 3 列出5个python标准库 os 提供了不少与操作系统相关联的函数 sys 通常用于命令行参数 re 正则匹配 math 数学运算 datetime 处理日期时间 4
  • Redis数据实战之“万金油”的String,为什么不好用了?

    Redis数据实战之 万金油 的String 为什么不好用了 引言 为什么 String 类型内存开销大 用什么数据结构可以节省内存 如何用集合类型保存单值的键值对 引言 以一个项目需要为例 需要开发一个图片存储系统 要求这个系统能快速地记
  • DNS使用TCP与UDP

    DNS同时占用UDP和TCP端口53是公认的 这种单个应用协议同时使用两种传输协议的情况在TCP IP栈也算是个另类 但很少有人知道DNS分别在什么情况下使用这两种协议 先简单介绍下TCP与UDP TCP是一种面向连接的协议 提供可靠的数据
  • tensorflow-ssd 实现纸张缺陷检测

    环境 win10 tensorflow1 10 python3 6 9 下载https github com balancap SSD Tensorflow到本地 1 解压并测试demo 打开Anaconda prompt 切换到SSD T
  • 我又把HTMLTestRunner改了一下,支持Python3,添加echarts统计饼图

    之前用Bootstrap把HTMLTestRunner改的美观了一点 同时改成了中文的报告 但那个是基于Python2的 见这篇博文 selenium之 输出报告 对HTMLTestRunner进行样式调整后的示例 这次呢 博主又给它改成了
  • mac编译安装Nginx

    一 安装wget 使用homebrew安装wget brew install wget 安装wget时报错 tar Error opening archive Failed to open Users xxx Library Caches
  • 【数据库】如何创建一个非常便宜的无服务器数据库

    云对象存储可以用作功能强大且非常便宜的数据库 您是否相信您可以使用完全托管 可大规模扩展 高度可用且价格低廉的无服务器数据库 每月只需 5 美元 您就可以存储数亿条记录并读写数十亿条记录 如果您的数据库需求可以通过非常简单的键值存储来满足
  • 近期deep learning做图像质量评价(image quality assessment)的论文4

    1 2017会议论文ICME An accurate deepconvolutional neural networks model for no reference image quality assessment 复旦大学 1 1用了部