MindSpore论文解读：基于多摄系统的高动态范围图像的主图像增强算法

作者：于璠

作者主页：https://www.zhihu.com/people/risenberg

文章来源：https://zhuanlan.zhihu.com/p/430231902

MindSpore作为一个开源的AI框架，为开发者带来端边云全场景协同、极致性能，极简开发、安全可信的体验，2020.3.28开源来得到数78万的下载量，MindSpore已支持100+AI顶会论文，走入100+Top高校教学，通过HMS在4000+App上商用，拥有数量众多的开发者，在AI计算中心，智能制造、云、无线、数通、能源、消费者1+8+N等端边云全场景逐步广泛应用，是Gitee指数最高的开源软件。欢迎大家参与开源贡献、模型众智、行业创新与应用、算法创新、学术合作、AI书籍合作等，贡献您在云侧、端侧、边侧以及安全领域的应用案例。基于MindSpore的AI顶会论文越来越多，我会不定期挑选一些优秀的论文来推送和解读，希望更多的产学研专家跟MindSpore合作，一起推动原创AI研究，MindSpore社区会持续支撑好AI创新和AI应用，本文是MindSpore AI顶会论文第7篇，我们选择了来自北京邮电大学人工智能学院智能科学与技术中心AAAI的一篇论文进行解读，感谢北京邮电大学董教授团队投稿。

论文整体目录：

1.MindSpore优秀论文解读：自此告别互信息：用于跨模态行人重识别的变分蒸馏技术

2.MindSpore AI顶会论文系列2：EPRNet 应用于实时街景分割的高效金字塔表征网络

3.MindSpore AI顶会论文3：[ACL2021]文本语义哈希在大规模信息检索系统的应用

4.MindSpore AI顶会论文4：[CVPR2021]AECRNet：基于对比学习的紧凑图像去雾方法

5.MindSpore论文5：[AAAI] CycleCol:基于循环卷积神经网络对真实单色-彩色摄像系统着色

6.MindSpore论文6：[ACM MM]PACMOO：基于帕累托最优的公平性约束协同过滤算法

7.MindSpore论文7：[AAAI]MIEHDR CNN：基于多摄系统的高动态范围图像的主图像增强算法-本文

1.研究背景

高动态范围图像（HDR）主要面向图片显示技术，在某一场景之中，高亮度区域和低亮度区域范围如果超过图像的最大亮度范围，将会大大降低显示效果，而HDR便是为了更好解决该问题而出现的，它能记录亮度范围更加广阔的图像，从而获得更加有效的显示效果。

目前的生成高动态范围图像（HDR）问题的解决方案主要聚焦于使用同一个相机拍摄的两张不同曝光度的低动态范围（LDR）图像进行图像融合。在这样的解决方案下由在曝光时间中相机晃动或物体移动而产生重像问题难以避免。

在目前市场上，多摄系统已经广泛地铺展应用，将多摄系统应用到传统的HDR问题上面可以转化为使用多个相机同时使用不同曝光时间拍摄一个场景的方法来对图像进行融合，由于最后的生成图像仅仅来源于一次拍摄，从而可以解决由摄像机或者物体移动引起的重像问题。

团队介绍：本研究依托于北京邮电大学人工智能学院智能科学与技术中心，团队领衔的董教授多次于AAAI，IEEE Trans等国际知名会议上发表相关论文。本实验团队近年来主要研究方向包括图像增强，HDR，图强去噪，低光照增强等。本团队依托于北京邮电大学双一流学科建设支持，还将在面向国家战略一级各行业的智能化需求持续探索人工智能前沿技术，实现智能技术在社会、企业以及人们日常生活中的有效应用。（本文MindSpore代码实现者：彭春力）

2.论文主要内容简介

我们提出了一种新的主图像增强方法和一个cnn模型来完成该任务，在传统的多图像融合方法中，得到最终的hdr结果使用的方法为直接将两张ldr图像进行融合，在这一种方案中在摄像机的视差校准不完全准确的情况下会出现重像问题。我们提出的新的方案是使用一张主图像进行融合，比如使用短曝光图像IS作为主图像，使用长曝光图像IL作为参照，将参照IL去噪后得到的图像IS，作为新图像和段曝光图像进行融合操作。

下面介绍算法流程图：

图1

该方案中进行图像融合的两张图片一张是低曝光的IS图片，一张来自于由IS参照IL得到的降噪的IS,图片，两张融合的输入均来自于同一个主图像，最终得到的结果并不会由于多摄相机校准对齐时的误差而产生重像现象。

3.代码链接

论文链接：

https://ojs.aaai.org/index.php/AAAI/article/view/16214/16021

代码链接：

https://gitee.com/mindspore/contrib/pulls/128

4.算法框架技术要点

我们基于上述方案提出了一个新的卷积神经网络模型，采用监督学习方法，在超过一千组数据集的测试和训练下进行实验。

模型算法框架大致如图2所示：

图2

Soft warp cnn 用于将长曝光图像IL和段曝光图像ISE, 进行视差矫正，以便更好的应用于后面的去噪。

3D Guided Denoising CNN 将得到的拉高曝光时间的图片ISE和校准视差后的长曝光图像ILA进行融合去噪。

Fusion CNN 是该算法的最后一步，将拉高曝光和去噪后的图像SE与原始短曝光图像IS进行图像融合操作。最后得到结果IHDR

整个算法的步骤简述如下：

首先获取多摄系统下不同相机拍摄的不同曝光时间的图片IS和IL然后拉高IS的亮度到和IL相近，再使用soft warp cnn对两张图片进行视差校准，得到ILA ，ILA用于为后续的去噪和曝光调整提供了更好的参照。再使用3D guided Denoising CNN以ILA为参照对ISE进行去噪操作。最后使用Fusion CNN对两张处理后的图片进行图像融合，得到IHDR。

5.实验结果

该模型在自建数据集上的对比实验结果如表1所示：

表1

6.MindSpore代码实现

基于MindSpore的模型搭建模块

数据读取处理模块：

使用MindSpore的自动训练函数

7.总结与展望

论文提出了一种基于多摄系统的新的HDR图像合成方法，并基于该方法提出了一个适用于该任务的卷积网络模型，深入阐述并且进行了实验和结果对比和分析。论文中提出的新的方法取得了相较于时下最新方法更为优秀的表现，在目前双摄甚至于三摄四摄系统等更为复杂的摄像系统的广泛应用，多摄融合的HDR合成方法有着十分广泛的应用场景。

同时，摄像系统越来越复杂，也对将算法拓展到更多复杂系统提出了更高的要求，也对实际应用提出了巨大的挑战。

本文作者在MindSpore社区从事相关AI工作，欢迎您扫码加入QQ群，与数千MindSpore开发者一起交流，用MindSpore赋能千行百业，点亮您的智慧生活。

官方QQ群: 871543426

MindSpore官网：https://www.mindspore.cn/

MindSpore论坛：https://bbs.huaweicloud.com/forum/forum-1076-1.html

代码仓地址：

Gitee-https://gitee.com/mindspore/mindspore.git

GitHub-https://github.com/mindspore-ai

转自文章链接：https://zhuanlan.zhihu.com/p/430231902

感谢作者的努力与分享，侵权立删