（DenseNet）Densely Connected Convolutional Networks论文阅读笔记

（DenseNet）Densely Connected Convolutional Networks论文阅读笔记

文章目录

• （DenseNet）Densely Connected Convolutional Networks论文阅读笔记2018
• • Abstract
  • 1. Introduction
  • 2. Related Work
  • 3. DenseNets
  • 4. Experiments
  • • 4.1 Datasets
    • 4.2 Training
    • 4.3 Classification Results on CIFAR and SVHN
    • 4.4 Classification Results on ImageNet
  • 5. Discussion
  • 6. Conclusion

（DenseNet）Densely Connected Convolutional Networks论文阅读笔记2018

Abstract

最近的工作表明，对于CNN，如果在接近输入或输出的那些卷积层之间包含一些更短的连接，网络可以持续的变深，且训练更有效率，取得更好的准确率。本文中，我们在此基础上提出了一种密集卷积网络（DenseNet），**它以前馈方式将每一层连接到其他每一层上。**对于传统的有L层的卷积网络，==有着L个连接，即一个接一个的，那么我们的网络就有着L(L+1)/2个连接，即每层与后面的所有层都有连接。对于每一层，前面所有层的特征图都作为输入，它的特征图又作为后面所有层的输入。==DenseNet有下面几个优点：

• 减轻了梯度消失的问题
• 增强了特征的传播，使得特征可以反复使用
• 减少了参数量

我们在四个数据集上评估了我们的结构（CIFAR-10/100、SVHM、ImageNet）,DenseNet在大部分任务中都对SOTA取得了提升，且计算量更少。

1. Introduction

CNN已经成为视觉目标识别任务中的统治性方法。尽管20多年前就有了，近年来随着计算机硬件和网络结构进步，才使得CNN成为了主流。

随着CNN越来越深，一个新的研究问题出现了：因为输入或梯度的信息要穿过好多层，因此在它传到最后或最初（梯度回传）的时候，它可能会消失。许多最近的论文在试图解决相关问题。ResNet和Highway Network通过identity mapping来在层之间传递信号。FractalNets重复地组合几个有着不同卷积数的平行层来获得一个比较深的深度，同时保持网络中有许多的short paths。尽管这些方法在网络的拓扑结构和训练流程上不同，它们都有一个特点：对前面的层引入一个short path接到后面的层。

本文中，我们提出了一种结构，将这种想法变成简单的连接：确保网络的各层中可以传递最多的信息，我们直接连接了所有层（匹配特征图尺寸）。为了保持前馈方式，每个层都获得了前面所有层的输入并且将自己的特征图输出到后面所有层中。图1展示了网络的结构：

关键的一点是，与ResNet不同，**我们不会在特征传到层之前就通过求和将特征进行组合；相反，我们通过级联的方式将这些输入进行组合。**因此，第l层有l个输入，它生成的特征图又会传到后面所有层中，因此对于L层的网络，一共有L(L+1)/2个连接。因为这种密集连接，所以我们把网络叫做DenseNet。

**这种密集连接有着一个违背直觉的特点，它需要更少的参数，因为不需要重新学习之前的特征图。**传统的前馈结构可以看做具有状态的算法，一层一层的逐层进行传递。每一层读取前一层的状态然后传到下一层，这个过程改变了状态，同时也会传递需要保存的信息。ResNet将前一层信息保存，然后通过iden