论文精讲 | 基于昇思MindSpore的高质量镜面高光消除研究

**作者：**李锐锋 ｜来源：知乎

论文标题

Towards High-Quality Specular Highlight Removal by Leveraging Large-scale Synthetic Data

论文来源

ICCV2023

论文链接

https://arxiv.org/pdf/2309.06302.pdf

代码链接

https://github.com/nauyihsnehs/TSHRNet-MindSpore

昇思MindSpore社区支持顶级会议论文研究，持续构建原创AI成果。本文是昇思MindSpore AI顶会论文系列第38篇，武汉大学计算机学院的肖春霞老师团队发表于ICCV的一篇论文解读，感谢各位专家教授同学的投稿，更多精彩的论文精读文章和开源代码实现请访问Models。

01

研究背景

现实世界中，物体上的镜面高光非常常见，但在摄影时，这些高光的出现会影响图像的质量。在日常生活中，用户往往希望从图像中消除这些镜面高光。例如，面部或文档图像中的镜面高光会掩盖皮肤细节或重要的纹理特征，这些细节对用户来说极其重要。通过单张图像消除镜面高光，可以恢复视觉内容，提高其可感知性。此外，镜面高光消除还涉及到许多相关应用，如重着色、光源估计、镜面对象识别和本征分解等。因此，镜面高光消除是计算机视觉和计算机图形学中一个长期存在且具有挑战性的问题。

现有解决方案主要包括传统的基于强度和色度分析的方法和基于深度学习的方法。传统方法往往不能有效地捕获场景的语义信息，导致结果不理想，产生视觉伪影、细节模丢失等问题。而深度学习方法虽有所改进，并不能很好地消除复杂光照条件、物体材质下的镜面高光。

02

团队介绍

论文第一作者付刚是武汉大学计算机学院22届博士毕业生（导师为肖春霞教授），主要研究方向为计算机视觉、图形学中的光照处理与编辑，涉及镜面高光检测与消除、本征分解、阴影消除、重光照等多个关键子问题。

论文通讯作者肖春霞现为武汉大学计算机学院教授，入选教育部新世纪人才计划，武汉大学珞珈特聘教授，主要从事计算机图形学、虚拟现实、增强现实、计算机视觉等领域的研究工作。已发表论文160余篇，其中在TOG、TPAMI、IJCV、TVCG等国际权威或重要SCI学术期刊发表论文80余篇，在CVPR、ICCV、ECCV、AAAI等国际顶级学术会议上发表论文30余篇。已授权国家专利34项，授权软件著作权10项。获得2019年湖北省自然科学奖二等奖（第一完成人）、2023年湖北省科技进步奖二等奖（第一完成人）。主持国家自然科学基金6项，教育部新世纪人才计划1项，国家973重点基础研究项目子课题1项，国家863计划重点项目子课题1项，国家重点研发计划项目子课题1项，湖北省重大科技创新计划项目1项。

03

论文简介

本文介绍了一种全新的三阶段框架来处理图像中的镜面高光，如图1所示。该框架利用基于物理的模型和深度学习技术，逐阶段改进高光消除结果，最终生成一个无镜面高光的图像，并具有与原始输入一致的色调。每个阶段的具体过程如下：

图1：三阶段的镜面高光消除框架

1）基于物理的镜面高光消除阶段（Physics-Based Specular Highlight Removal, PSHR）。在此阶段，输入图像首先被分解成三个基本成分：反射率（albedo）、明暗图（shading）和镜面高光残差图（specular residue）。这一分解基于物理成像模型，通常假设一个图像由这三个成分的组合而成。本文使用两个编解码器网络，分别估计反射率和明暗图，然后通过两者的乘积得到一个初步的无镜面高光图像（specular-free）。

1. 2）无镜面高光图像精细化处理阶段（Specular-Free Refinement, SR）。在获得初步的无镜面高光图像后，该阶段通过另一个编解码器网络进一步优化图像，改善其中的视觉伪影，如色彩失真等。这一阶段主要是为了提高图像的细节保留和自然外观，以优化最终的图像质量。
2. 3）色调校正阶段（Tone Correction, TC）。经过精细化处理后，图像的总体色调可能与原始输入有一定差异。为了解决这一问题，该阶段调整精细化后图像的色调，使其更加符合原始图像的色调。色调校正通过一个编解码器网络实现，该网络使用输入图像、镜面高光残差图以及精细化后的无镜面高光图作为输入，调整最终结果的色调以达到视觉上的一致性。

为了支持这一框架的训练和评估，本文构建了一个大规模的合成数据集，如图2所示。该数据集包括多种物体和光照条件，每个数据样本都包含反射率、明暗图、镜面高光残差、无镜面高光的真实标签图。利用该数据集，网络可以在有监督的环境下学习如何有效消除镜面高光，同时保证图像质量。

图 2. 本文数据集中的示例图像组。(a)输入图像。(b)反射率。(c)明暗图。(d)镜面高光残差图。(e)真实标签图。(f)为(e)的色调校正版本。

04

实验结果

本文通过使用昇思MindSpore框架实现上述镜面高光消除网络，为了验证本文所提出的三阶段镜面高光消除框架的有效性，在SHIQ、PSD和本文提出的SSHR数据集上与现有最先进的4种传统方法和2种基于深度学习的方法进行比较。

表 1. 在SSSH、SHIQ和PSD数据集上的定量比较结果

表1展示了三个数据集上的定量比较结果，最佳结果用粗体标记，次佳结果用下划线标记。本文的方法取得了更高的PSNR和SSIM结果，表明优于现有方法。

图 3. 在合成图像上的视觉比较结果

图 4. 在真实图像上的视觉比较结果

图3和图4分别展示了本文方法与现有方法在合成图像和真实图像上的视觉比较结果。从结果中可以看出，现有传统方法易产生多种视觉伪影，如色调扭曲、黑色色块等；其它基于深度学习的方法有时会出现颜色失真伪影，也可能产生不合理的纹理细节。与之相比，本文方法能够产生高质量的镜面高光消除结果，而且没有明显的视觉伪影，这是现有方法无法做到的。

05

总结与展望

本文提出了一种三阶段方法，用于物体图像的镜面高光消除。核心思想是通过逐步消除多种视觉伪影，得到外观自然的高质量结果。此外，本文构建了一个大规模的物体图像合成数据集，以便于网络训练和量化评估。本文进行了丰富的实验，通过量化比较、视觉比较和用户调查来证明本文的方法优于现有方法。

MindSpore的强大性和灵活性对于复杂深度学习模型的训练和部署提供了巨大的支持，使得本文方法能够在合成数据集上训练出具有优异泛化能力的模型。随着昇思MindSpore框架的不断完善和社区的持续壮大，期待它将在AI领域发挥更加关键的作用。希望所有MindSpore开发者积极参与到社区建设中，共同创造更多创新解决方案，通过开源协作推动技术进步。

往期回顾

论文精讲 | 基于昇思MindSpore实现自遮挡感知折射追踪的透明物体三维重建 论文精讲 | 基于昇思MindSpore实现图文检索的外部空间注意力聚合 论文精讲 | 基于昇思MindSpore梯度差异最小化的联邦多源领域泛化 论文精讲 | 基于昇思MindSpore多维度公平性联邦学习