0引
言
日常生活中经常需要在低光条件下捕捉图
像，例如在夜间或昏暗的室内房间。在此环境下拍摄的图像往往会出现能见度差、对比度低、噪声大等多种问题。虽然自动曝光机制（如ISO 、快门、闪光灯等）可以增强图像亮度，但同时也会产生其
他的影响（如模糊、过饱和度等）[1]
。
在过去，人们提出了许多方法来解决上述问题，如直方图均衡化、伽马校正、Retinex 等[2]。然而它们只注重提高图像的对比度和亮度，而忽略了严重噪声的影响，甚至导致噪声放大。
近年来，深度学习已经成为图像增强的一个突出手段。Wang 等人[3]提出了一种利用神经网络来估计和调整低光图像光照层的方法。Gharbi 等人[4]提出了一种用于增强低照度图像的双边学习框架，该框架训练一个神经网络来预测每个像素处颜向量的变换系数。Wei 等人[5]提出用一种
基于深度学习的低照度图像增强方法
马
悦
（陕西中医药大学，陕西咸阳712046）
摘
要
在低照度环境下采集的图像往往亮度不足，导致在后续视觉任务中难以有效利用。针对这
一问题，过去的低照度图像增强方法大多在极度低光场景中表现失败，甚至放大了图像中的底层噪声。为了解决这一难题，本文提出了一种新的基于深度学习的端到端神经网络，该网络主要通过空间和通道双重注意力机制来抑制差和噪声，其中空间注意力模块利用图像的非局部相关性进行去噪，通道注意力模块用来引导网络细化冗余的彩特征。实验结果表明，与其他主流算法相比，本文方法在主观视觉和客观评价指标上均得到了进一步提高。关键词图像增强；低照度图像；深度学习；注意力机制
中图分类号
TP391
文献标识码
A
文章编号
1009-2552（2021）01-0085-05
DOI
10.13274/jki.hdzj.2021.01.015
Low -light image enhancement method based on deep learning
MA Yue
（Shaanxi University of Chinese Medicine ，Xianyang 712046，Shaanxi Province ，China ）
Abstract ：Images acquired in low -light environments are often not bright enough ，making them dif
ficult to use effectively in subsequent visual tasks.In response to this problem ，most of the past low -light image en⁃hancement methods have failed in extreme low-light scenes and even magnified the underlying noise in the image.In order to solve this problem ，this paper proposes a new end -to -end neural network based on deep learning ，which is primarily based on spatial and channel dual attention mechanism to suppress chromatic ab⁃erration and noise.The spatial attention module uses the non -local correlation of the image for denoising ，and the channel attention module is used to guide the network to refine the redundant color features.The experi⁃mental results show that the method in this paper is further improved in both subjective visual and objective evaluation metrics compared to other mainstream algorithms.
Key words ：image enhancement ；low-light image ；deep learning ；attention mechanism
作者简介：马悦（1988-），女，硕士，工程师，研究方向为模式识别与智能系统。
2021年第1期
研究与探讨RESEARCH AND DISCUSSION
神经网络将低光图像分解为相应的反射率层和光照层，再用另一种神经网络来调整光照层。尽管已经取得了显著的进步，但这些方法在极度微光环境中大多表现不佳，仍有一定的改进空间。
低照度图像增强是提高低光图像的视觉质量，以获得更好的图像细节可视性和更高的信噪比。这种技术不仅在数字摄影中有实用价值，而且在低光条件下有利于其他计算机视觉应用（如监视和跟踪）。1
基本原理
1.1任务模型
低照度图像增强是一个复杂的问题。传统的
图像信号处理方法是由白平衡、去噪等一系列子任务组成的，但其噪声水平较高，彩不太鲜明。为此，本文提出了一种基于深度学习的图像增强网络，它可以直接将原始图像转换为彩图像[6]。对于一张低光图像，通过网络估计到的彩图像可以定义为：
I c =F (I l ,θ)
（1）
其中，
F 表示为提出的网络，θ为网络中所设定的参数。本文网络基于该任务模型从而优化参数，最终实现图像增强目的。1.2注意力机制
注意力在人类感知中起着重要作用，人类通
过一系列局部观察，并选择性地专注于显著部分，以便更好地捕捉视觉结构[7-8]。
通道注意力：给定一张低照度图像，首先通过卷积层提取到深度特征的每个通道特征图可被视为对特定类别的响应。通道注意力机制就是利用每个通道的特征图所表达信息的不同，来学习其权重，然后与相应的通道进行相乘运算，其结构如图1所示。
为了有效地学习通道权重关系，对于输入的特征图分别通过平均池化和最大池化进行空间维
度压缩，给每个通道生成两个特征描述符。其次将这两个特征通过共享多层感知器（MLP ）来计算通道注意力图，生成代表性的特征向量。最后利用sigmoid 函数计算得到最终的通道注意力图，用公式表示如下：
W c (F )=sigmoid (MLP (AvgPool (F ))
+MLP (Max Pool (F )))
（2）
空间注意力：主要关注目标在图像中的位置信息。空间注意力机制就是利用不同的位置关系来学习空间权重图，然后与相应的空间位置进行相乘运算，其结构如图2所示。
为了有效地学习空间权重关系，首先对于每一个通道相同位置的元素进行全局池化操作，得到空间特征描述图，然后通过对叠加的特征描述符进行卷积运算，最后通过sigmoid 激活函数进行处理，得到最终空间注意权重图，用公式表示如下：
W s (F )=sigmoid (f ([AvgPool (F );Max Pool (F )]))（3）
2网络模型
2.1
网络结构
由于U 型网络可以较好地保留图像的细节[9]，
为了学习低光图像和正常光照图像之间的映射关系，本文采用U 型结构的卷积神经网络。如图3所示，该网络由编码器、解码器和跳跃连接构成。
在原始数据预处理层，受到多次曝光的启发，将图像乘以不同放大因子作为输入。在采样后面添加了注意力机制来提取更多有用的信息用于微光图像增强，其中包含通道注意（CA ）和空间注意（SA ）的两个注意模块，从而有利于消除放大倍率而引起的彩伪影。所利用的两个注意块具有良好的动机，它不仅消除了输入的有害特征，而且突出了有利的颜信息。通过关注主要的神经元，舍弃无用的神经元，从而增强有意义的部分。最
图1
通道注意力模块结构图
MaxPool
AvgPool
MLP
Sigmoid
图2空间注意力模块结构图
Conv Sigmoid
[Maxpool;AvgPool]
基于深度学习的低照度图像增强方法——马悦
后，解码器部分采用反卷积层从语义特征中恢复高分辨率特征，得到估计图像。
如前文所述，不同注意块可以对信道之间的相互依赖性进行建模，而非局部操作可以将特征图中不同位置的信息进行聚合[10]。为了获得更好的特征表示，本文将两个注意模块合并成一个混合注意块。在这个混合块中，首先采用非局部操作来获得空间域内具有更大范围信息的特征，然后将它们连接起来，并将连接起来的特征输入到下一级注意块中，生成最终的特征表示。通过混合注意块，网络可以充分利用特征图中不同信道、不同位置的信息，使网络结构更加灵活。
2.2非局部操作
在许多计算机视觉任务中拥有较大的感受野是至关重要的，但卷积运算只能够处理空间中的局部邻域，因此从特征图中获取远程信息需要重复进行局部运算，从而导致计算效率低下[11]。非局部操作是近年来解决该问题的途径之一，结构如图4所示。其可以表示为：
y i=∑j=1N h(x i,x j)C(x)G(x i)（4）
i为所查的位置，j是为特征图中N个可能位
置之一，G（x i）表示对x i的变换，h（x i，x j）表示x i和x j的
关系，C（x i）为归一化因子，可以进一步定义为：
C(x
i)=
∑j=1N h(x i,x j)（5）
非局部操作的结果是所有位置特征的加权
和，旨在增强网络的特征表示能力。因此，利用非
局部运算，可以将特征图中的不同位置信息聚合
在一起，使网络具有全局接收域。这对在一个低
光环境下用来校正图像的颜和抑制噪音具有额
外作用，因为更广泛的信息可以引导网络去学习
恢复严重退化的场景。在实际应用中，非局部操
作通常占用较大的内存和计算量。因此，本文还
采用对特征进行下采样的方式来降低计算的复
杂度。
2.3损失函数
均方误差（MSE）是一种广泛使用的损失函
数，然而它通常容易导致结果的细节模糊和过度
平滑，不利于恢复图像内容。为了解决上述缺点，
本文将MSE和SSIM结合作为组合代价损失函数，
通过利用最小化均方误差和最大化结构相似性来
提升图像增强的视觉感知质量[12-13]。MSE用于衡
量增强后的图像与地面真实值之间的差异，定
义为：
L
MSE=
1
N∑i=1N
G(I)-A（6）
其中G（I）代表增强分量，A代表真实分量。再通
过引入SSIM损失来避免图像细节模糊，其定
义为：
L
SSIM=
(2μxμy+C1)(2σxy+C2)
(μ2x+μ2y+C1)(σ2x+σ2y+C2)（7）
其中，μ和σ2分别代表图像像素平均值和方差，C
为常量。最后本文组合损失函数计算如下：
L
Total=λMSE L MSE+λSSIM(1-L SSIM)（8）
图3本文网络结构示意图
1632641282561286432
3
局部直方图均衡化图4非局部操作结构示意图
基于深度学习的低照度图像增强方法——马悦
其中，
λ是通过适当调参设置来平衡MSE 损失和SSIM 损失之间的权重。3实验结果及分析3.1
数据集
本文实验选择低照度增强公开基准数据集LOL 进行训练的，该数据集包含1500组低光/亮光
图像对。具体来说，有500对大小为400×600的真实场景图像和1000对大小为384×384的原始数据合成图像。本文使用1000对合成图像对和485对真实图像对进行训练，其余15对进行测试。由于LOL 测试集的图像是在极弱光条件下拍摄的，图像的黑暗区域充满了强烈的噪声，因此通过这个数据集的结果可以很好地显示了本文算法在低光照条件下的增强性能。3.2
实验设置
本文实验环境是Ubuntu16.04系统，通过Nvidia GTX1080Ti 显卡对其进行加速网络训练，采用Python 编程语言并通过Pytorch 框架来实现网络的搭建。由于训练样本有限，在每次迭代的训练中都进行随机裁剪，从原始图像中得到一个64×64的patch ，然后随机对其进行翻转、旋转或转置，进行数据增强。在将图像patch 输入网络之前，本文将放大比设置为w∈{0.4，0.6，0.8，1.0}，得到四个多亮度图像作为输入。对于损失函数而言，公式（8）中的权重分别设定为λMSE =0.7，
λSSIM =0.3。同时，在Adam 优化器的帮助下执行梯度下
降训练，将网络学习率值设置为0.001，batchsize 值设置为32，总共迭代训练500个周期后至收敛。3.3
实验结果分析
本文在测试数据集上对所提出的网络性能
进行了评估，并分别将其与文献[3]、文献[4]和文献[5]三种主流低照度图像增强的方法进行了定性和定量的比较。为了公平起见，本文应用了作者提供的带有推荐参数设置的代码。为了评价这些算法的性能，本文采用峰值信噪比（PSNR ）、结构相似性指数（SSIM ）和自然图像质量评估器（NIQE ）来量化增强后图像的恢复质量[14]。
PSNR 是一个绝对误差，使用像素相对于其
最大可能值的均方误差来计算。在假设人类的视
觉系统高度协调以提取结构信息的情况下，SSIM 试图通过更紧密地与人类的感知保持一致来改进绝对误差度量。这两个客观评价指标的值越大，表明图像处理效果越好，而NIQE 值越大说明与自然图像差距越大，质量越差[15]。可以从表1中看出本文网络表现出最优的性能。
然而，
这些指标并不总是符合人类对图像相
图5
不同算法在测试数据集上的主观视觉对比
输入低照度图像文献[3]结果文献[4]结果文献[5]结果本文结果
不同方法文献[3]文献[4]文献[5]本文
PSNR 16.6919.6420.3722.51
SSIM
0.68770.74010.78640.8045NIQE
7.28695.81005.35463.6354表1
不同算法在测试数据集上的客观评价指标
基于深度学习的低照度图像增强方法——马悦
似性的评估，而定性评估仍然是评估性能的重要组成部分。对比图5的结果可以看出，本文网络增强后的图像质量明显高于其他网络。
通过视觉上的比较，注意到文献[3]算法的增强能力有很大局限性；文献[4]的方法虽对低照度图像有明显的增强，但却对恢复后的图像引入了新的噪声，同时会产生不正确的颜；文献[5]的方法从严重噪声的低光图像中并不能恢复出更多的细节和纹理。相比之下，本文提出的方法不仅可以恢复正确和自然的彩，而且在抑制噪声和保留细节之间取得了很好的平衡。
4结束语
针对低照度图像清晰度不高、颜失衡的问题，本文提出了一种新的深度学习来对图像增强的方法。该方法采用空间注意和通道注意相结合的混合注意机制来提取特征，提高了网络的效率，从而获得高对比度和无噪声的彩图像。实验结果表明，本文提出的方法不仅能有效地提高图像清晰度，改善图像质量，同时在抑制差和噪声伪影方面具有优越性。在未来的工作中，将探索一个更有效的注意力模块，以降低计算代价，提高网络泛化能力。
参考文献：
[1]江泽涛，覃露露.一种基于U-Net生成对抗网络的低照
度图像增强方法[J].电子学报，2020，48（2）:258-264. [2]姜雪松，姚鸿勋.夜晚图像增强方法综述[J].智能计算
机与应用，2020，10（3）:394-403.
[3]Wang W，Wei C，Yang W，et al.GLADNet:low-light en⁃hancement network with global awareness[C].IEEE Inter⁃national Conference on Automatic Face Gesture Recogni⁃tion，2018:751-755.[4]Gharbi M，Chen J，Barron J T，et al.Deep bilateral learn⁃ing for real-time image enhancement[J].ACM Transac⁃tions on Graphics，2017，36（4）.
[5]Wei C，Wang W，Yang W，et al.Deep retinex decompo⁃sition for low-light enhancement[C].British Machine Vi⁃sion Conference，2018.
[6]黄鐄，陶海军，王海峰.条件生成对抗网络的低照度图
像增强方法[J].中国图象图形学报，2019，24（12）:2149-2158.
[7]Woo S，Park J，Lee J Y，et al.Cbam:Convolutional block attention module[C].Proceedings of the European Confer⁃ence on Computer Vision（ECCV），2018:3-19. [8]丛璐文.基于双路细化注意力机制的图像描述模型[J].
计算机系统应用，2020，29（5）:245-251.
[9]Ronneberger O，Fischer P，Brox T.U-net:convolutional networks for biomedical Image Segmentation[C].Interna⁃tional Conference on Medical Image Computing and Com⁃puter-assisted Intervention，2015:234-241. [10]熊壮.基于非局部相似性与深度学习的图像超分辨率
研究[D].西安：西安电子科技大学，2019. [11]Zhang Sheng-dong，He Fa-zhi，Ren Wen-qi.NLDN:non-local dehazing network for dense haze removal[J].Neuro⁃computing，2020，410：363-373.
[12]方路平，翁佩强，周国民.基于深度学习的低光彩码图
像增强[J].浙江工业大学学报，2020，48（4）:384-391.
[13]宋美萍.低照度环境下模糊图像复原技术研究[J].电
子测试，2020（12）:44-45.
[14]马华林，张立燕.基于人眼感知的无参考调映射图
像质量评价[J].计算机应用与软件，2020，37（7）:158-164.
[15]杨德云.基于深度学习的红外指导低光图像增强技术
研究[D].合肥：安徽大学，2020.
（责任编辑：丁一元）
[3]Ansari R I，Chrysostomou C，Hassan S A，et al.5G D2D networks：techniques，challenges，and future prospects[J]. IEEE Systems Journal，2018，12（4）：3970-3984. [4]Zhang A，Chen J，Hu R Q，et al.SeDS：secure data shar⁃ing strategy for D2D communication in LTE-Advanced networks[J].IEEE Transactions on Vehicular Technology，2016，65（4）：2659-2672.
[5]Abro A，Deng Z，Memon K A.A lightweight elliptic-elga⁃mal-based authentication scheme for secure device-to-device communication[J].Future Internet，2019，11（5）：108.[6]Sun Y，Cao J，Ma M，et al.Privacy-preserving device dis⁃covery and authentication scheme for D2D communication in3GPP5G HetNet[C].2019International Conference on Computing，Networking and Communications（ICNC），2019.
[7]3GPP R16TS23.502Procedures for the5G System
（5GS）[EB/OL].[2020]./. [8]Burrows M，Abadi M，Needham R M.A logic of authenti⁃cation[J].Proceedings of the Royal Society A Mathematical Physical&Engineering Sciences，1989.
（责任编辑：丁一元）
（上接第84页）
基于深度学习的低照度图像增强方法——马悦