程序员经验分享-hwhale

基于深度学习的图像重照明实践学习笔记(2)

2023-10-27

项目摘要

项目任务是什么？

One-to-one Relighting：目标是将输入图像从一组预定义
的照明设置（即北，6500K）转换为另一组预定义的照明
设置（东，4500K）。图像的分辨率为1024×1024，包括
输入和输出，仅提供输入图像。

解决这个任务的基本模型架构是怎样的？

在这里插入图片描述
大体上来说，将输入图片放入我们的“黑盒”中从而得到输出图片，而这个“黑盒”就是我们所使用的模型（Neural Network）,"黑盒"中则有着大量的参数需要我们去通过输入输出进行调整（W1，W2等），这也就是我们所常说的模型训练过程。
至于这里我们所说的“黑盒”内部的具体细节，也将在后面的课程中进行详细的讲述。

使用什么数据训练模型？

本次项目我们使用的数据为VIDIT（Virtual Image Dataset for Illumination Transfer），是一种专门进行光源变换训练的数据集。

  • 其包含390个不同的场景（这些场景都是来源于虚幻引擎），每个场景采集40张图片（即40种不同的光照设置）。
  • 40中不同的关照设置由5种不同的色温和8个光照方向组合而来（就该任务而言，采用点光源的图像更容易实现一些）。
    在这里插入图片描述
  • 该数据集在GitHub上是开源的。
  • 其训练集有300张，验证集与测试集都为45张，而项目的最终评测效果也就是看模型在这45张测试集上的测试效果（测试集我们自身是拿不到ground truth的）。

模型如何设计？

冠军模型：Wavelet Decomposed RelightNet (WDRN)

在这里插入图片描述
注：IDWT为DWT的逆变换
（网络的具体内部解说会在第四次课程中结合论文详细说明）

经典模型：Norm-Relighting-U-Net (NRUNet)

在这里插入图片描述
梯形可以理解为神经网络的降维或者升维。

Deep Residual Network for Image Relighting (DRNIR)

在这里插入图片描述

Self-Attention AutoEncoder (SA-AE)

该网络属于赛道三的网络，属于Any-to-any类型
在这里插入图片描述

Norm-Relighting-U-Net (NRUNet)

该网络同样属于赛道三的网络，属于Any-to-any类型
在这里插入图片描述

Deep Residual Network for Image Relighting (DRNIR)

该网络同样属于赛道三的网络，属于Any-to-any类型
在这里插入图片描述

模型效果如何评价？

就One-to-one问题而言

在刷榜期间使用的是PSNR和SSIM指标进行评判，而在评判冠亚军时所采用的是MPS（Mean Perceptual Score）指标，即主观评价指标——人为进行打分。再将其标准化SSIM和LPIPS得分的平均。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
（上述值都应该越大越好）
相关论文推荐：The Unreasonable Effectiveness of Deep Features as a Perceptual Metric
在这里插入图片描述
在这里插入图片描述
网络核心为获取不同层级的特征，相同层级的特征做减法最后计算距离。

其他一些问题

项目代码如何写？

对初学者而言，强烈建议先抄写官方代码。
在这里插入图片描述

项目有实际应用场景吗？

  • 三维人脸建模
    在这里插入图片描述

  • 照片补光
    在这里插入图片描述

  • 将真实建筑物3D化并改变光影效果

更多相关学习资源获取

在这里插入图片描述
第二次课程直播回放链接：https://www.bilibili.com/video/BV1Ch4112734

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

深度学习

神经网络

机器学习

基于深度学习的图像重照明实践学习笔记(2) 的相关文章

  • MII/MDIO接口详解

    本文主要分析MII RMII SMII 以及GMII RGMII SGMII接口的信号定义 及相关知识 同时本文也对RJ 45接口进行了总结 分析了在10 100模式下和1000M模式下的设计方法 MII接口提供了MAC与PHY之间 PHY

  • 纵表和横表的相互转换与自我理解

    纵表和横表的相互转换与自我理解 横表 纵表 结论 纵表转横表 横表转纵表 横表 优点 一行表示了一个实体记录 清晰可见 一目了然 缺点 如果现在要给这个表加一个字段 那么就必须重建表结构 纵表 优点 如果现在要给这个表加一个字段 只需要添加

随机推荐

  • 105套最新计算机专业毕业设计源码+数据库+论文

    最近又到了毕设期 很多计算机的同学都在忙着做毕设 可毕设总是遥遥无期 我身边的朋友也在忙自己的毕业设计程序 目前也是难产一样慢慢挤出来 很能感受到大家的痛苦 但是本科毕设程序还是挺简单的 市面上有大量几千套 上万套的参考 面对这么多资源 你

  • Eclipse工具启动提示the selection cannot be launched,and there are no recent

    误删了eclipse之后 发现了 jdk 64bit与eclipse 32bit位数不匹配 jdk配置环境不变 重新安装eclipse 方便 将eclipse zip解压到D Eclipse下 直接点击eclipse exe即可 安装过程可

  • 删除数组中的某个指定元素或数组对象＜学习笔记＞

    1 删除数组中的某个指定元素 let index this fileList indexOf filename if index gt 1 this fileList splice index 1 其中fileList为我的数组 我要找到f

  • Debian 10.x 网卡配置那些事儿

    Linux系统要上网 必然要学会对网卡进行配置 对于Redhat系 在 etc sysconfig network scripts 目录下的一大堆文件 要修改 你得一个一个文件来过 对于Debian系 不管你有多少张网卡 有线网卡还是无线网

  • CentOS7.2下SSL证书的配置

    HTTPS的配置 2017 07 28 准备 假设CentOS7 已经安装了Apache Web服务器 yum install mod ssl openssl 安装完毕后 会自动生成 etc httpd conf d ssl conf 文件

  • CSS Tricks各种动画效果

    CSS Tricks各种动画效果

  • MySQL的体系结构

    MySQL是由SQL接口 解析器 优化器 缓存 存储引擎组成的 MySQL体系结构可以分为四个层级 如图1所示 一 连接层 思想 为解决资源的频繁分配 释放所造成的的问题 为数据库连接建立一个 缓冲池 原理 预先在缓冲池中放入一定数量的连接

  • IP地址定位原理

    IP地址定位是一种通过IP地址来确定位置的技术 在互联网和移动网络的应用十分广泛 本文将介绍IP地址定位的原理和实现方式 IP地址定位原理 IP地址是Internet Protocol 简称IP 的缩写 是互联网上的一个地址标识符用于识别连

  • 面板phpMyAdmin不同版本和MySQL还有php版本的对应情况

    phpMyAdmin4 9 0 Current version compatible with PHP 5 5 to 7 3 and MySQL 5 5 and newer phpMyAdmin4 8 0 Older version com

  • matlab绘图legend遮挡曲线,matlab绘图中legend的终极用法

    持续更新 当前 20100108 仅作笔记 作者 keyflying legend有时候挺烦人的 尽管大多时候挺好用 基本数据 data rand 25 repmat 1 25 25 1 H plot data 基本用法 legend st

  • 手动编辑一个快捷卸载的bat文件

    1 首先建立一个空的XXX bat文件 2 编辑内容输入 echo off goto run run start control appwiz cpl 3 保存 实现效果打开后直接跳转卸载界面 方便快速操作卸载文件

  • Java学习笔记 面向对象（下）

    第六章 面向对象 下 1 this与super 2 构造方法的多态 3 抽象类 4 接口 interface 5 引用 6 类的其他相关内容 1 this与super this this 域变量和this 成员方法 明确表示用的是类的域变量

  • iOS进阶_密码学(四.抽取登录网络请求的单例)

    登录业务逻辑完善 在网络开发中 一般会有一个单例负责所有的网络请求 将这个网络登录的部分代码抽取出来 新建一个 类 复制方法 调整参数 测试登录能否成功运行 WTNetworkTools h import

  • pygame捕获键盘事件的两种方式

    pygame捕获键盘事件的两种方式 方式1 在pygame中使用pygame event get 方法捕获键盘事件 使用这个方式捕获的键盘事件必须要是按下再弹起才算一次 示例示例 eventList pygame event get 2 对

  • Kaggle冠军告诉你，如何从卫星图像分割及识别比赛中胜出？

    本文来自AI新媒体量子位 QbitAI 在2016年12月至2017年3月期间 Kaggle网站举办了一场对英国国防科学与技术实验室 DSTL 提供的卫星图像进行场景特征检测的图像分割比赛 主办方所提供的训练集里包含了25个1平方公里大小地

  • Hystrix熔断器整合 - 搭建项目

    实战前需了解 https blog csdn net wanzijy article details 125041622 Hystrix熔断器整合 搭建项目 https blog csdn net wanzijy article detai

  • 【华为OD统一考试B卷

    华为OD统一考试A卷 B卷 新题库说明 2023年5月份 华为官方已经将的 2022 0223Q 1 2 3 4 统一修改为OD统一考试 A卷 和OD统一考试 B卷 你收到的链接上面会标注A卷还是B卷 请注意 根据反馈 目前大部分收到的都是

  • 2022华为杯A题思路分析移动场景超分辨定位问题

    华为杯A题专业性非常强 也成为华为题 对于不是通信和雷达专业的同学来说不太友好 谨慎选择 时间紧不利于对于公式的理解 移动场景超分辨定位问题 这是一个在移动场景下进行信号波定位问题 首先我们需要了解以下调频连续波雷达FMCW 这是它的基本结

  • Android酷炫实用的开源框架（UI框架）

    Android酷炫实用的开源框架 UI框架 前言 忙碌的工作终于可以停息一段时间了 最近突然有一个想法 就是自己写一个app 所以找了一些合适开源控件 这样更加省时 再此分享给大家 希望能对大家有帮助 此博文介绍的都是UI上面的框架 接下来

  • 基于深度学习的图像重照明实践学习笔记(2)

    基于深度学习的图像重照明实践学习笔记 2 项目摘要 项目任务是什么 解决这个任务的基本模型架构是怎样的 使用什么数据训练模型 模型如何设计 冠军模型 Wavelet Decomposed RelightNet WDRN 经典模型 Norm

热门标签