【论文精读】DALE : Dark Region

【论文精读】DALE : Dark Region

出处

2020 BMVC

摘要

本文提出了一种新的微光图像增强方法–暗区域感知微光图像增强(DALE)，该方法通过视觉注意模块准确地识别暗区域，并对其亮度进行强化。我们的方法可以有效地利用超像素来估计视觉注意力，而不需要任何复杂的过程。因此，该方法可以保持原始图像的颜色、色调和亮度，并防止图像的正常照明区域饱和和失真。实验结果表明，我们的方法通过所提出的视觉注意准确地识别出暗区域，并且在定性和定量上都优于最先进的方法。

论文贡献

1.提出了一种新的注意力模块来识别暗光区域。使其在保留其他区域亮度的同时，密集地增强暗区域的亮度。
2.提出了一个局部光照数据集。

暗区感知的微光增强网络

所提出的微光增强网络由视觉注意网络和增强网络组成。其中注意网络产生可以识别暗区的注意图，而增强网络输出微光增强的图像。网络的整体架构如图所示：

视觉注意网络（VAN）

网络构成

VAN采用U-Net结构(即编码器和解码器)作为主干网络。第一卷积层的核大小为3×3，步长为1。编码器有三个卷积层、残差块和两个下采样层，残差块由具有1×1大小的核的卷积层、ReLU和SE块组成，它们具有不同的扩张因子(即3、2和1)。解码器具有三个卷积层、残差块和两个上采样层。残差块使用不同的扩张因子(即1、2和3)。

损失函数

注意图 V A ( I l o c a l ) VA(I_{local}) VA(Ilocal​)和真实图像 I V A G T I_{VAGT} IVAGT​的 l 2 l_2 l2​损失，公式如下：
L a = ∣ ∣ V A ( I l o c a l ) − I V A G T ∣ ∣ 2 (1) mathcal{L}_a=||VA(I_{local})-I_{VAGT}||_2tag{1} La​=∣∣VA(Ilocal​)−IVAGT​∣∣2​(1)

其中， I l o c a l I_{local} Ilocal​表示具有局部照明区域的低光图像，
感知损失，它在特征层面衡量 V A ( I l o c a l ) VA(I_{local}) VA(Ilocal​)和 I V A G T I_{VAGT} IVAGT​之间的相似性。公式如下：
L p = ∣ ∣ ϕ ( V A ( I l o c a l ) + I l o c a l ) − ϕ ( I G T ) ∣ ∣ 1 (2) mathcal{L}_p=||phi(VA(I_{local})+I_{local})-phi(I_{GT})||_1tag{2} Lp​=∣∣ϕ(VA(Ilocal​)+Ilocal​)−ϕ(IGT​)∣∣1​(2)
其中， ϕ ( ⋅ ) phi(cdot) ϕ(⋅)表示的是预先训练的VGG-16网络。
总的损失表示如下：
L V A N = λ 1 L a + λ 2 L p (3) mathcal{L}_{VAN}=lambda_1mathcal{L}_a+lambda_2mathcal{L}_ptag{3} LVAN​=λ1​La​+λ2​Lp​(3)

增强网络（EN）

所提出的EN使用估计的视觉注意图来增强微光图像的亮度。EN将微光图像和视觉注意图的拼接作为输入。与VAN相似，所有卷积层的核大小均为3×3，步长为1。3个残差块使用从3到1的不同膨胀因子，而我们将所有残差块连接起来进行信息融合。

损失函数

在像素级别上计算微光图像 E N ( I E N ) EN(I_{EN}) EN(IEN​)和真实图像 I G T I_{GT} IGT​的 l 2 l_2 l2​损失，公式如下：
L e = ∣ ∣ E N ( I E N − I G T ) ∣ ∣ 2 (4) mathcal{L}_e=||EN(I_{EN}-I_{GT})||_2tag{4} Le​=∣∣EN(IEN​−IGT​)∣∣2​(4)
其中 I E N = V A N ( I l o c a l ) + I l o c a l I_{EN}=VAN(I_{local})+I_{local} IEN​=VAN(Ilocal​)+Ilocal​。
同时，计算感知损失去衡量 E N ( I E N ) EN(I_{EN}) EN(IEN​)和 I G T I_{GT} IGT​之间的相似性。公式如下：
L e p = ∣ ∣ ϕ ( E N ( I E N ) ) − ϕ ( I G T ) ∣ ∣ 1 (5) mathcal{L}_{ep}=||phi(EN(I_{EN}))-phi(I_{GT})||_1tag{5} Lep​=∣∣ϕ(EN(IEN​))−ϕ(IGT​)∣∣1​(5)
总变化损失目的是使输出图像在空间上平滑：
L t v = 1 C H W ∣ ∣ ∇ x E N ( I E N ) + ∇ y E N ( I E N ) ∣ ∣ 2 (6) mathcal{L}_{tv}=frac{1}{CHW}||nabla_xEN(I_{EN})+nabla_yEN(I_{EN})||^2tag{6} Ltv​=CHW1​∣∣∇x​EN(IEN​)+∇y​EN(IEN​)∣∣2(6)
最后， E N EN EN的总损失如下：
L E N = λ 1 L e + λ 2 L e p + λ 3 L t v (7) mathcal{L}_{EN}=lambda_1mathcal{L}_e+lambda_2mathcal{L}_{ep}+lambda_3mathcal{L}_{tv}tag{7} LEN​=λ1​Le​+λ2​Lep​+λ3​Ltv​(7)