论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》

论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》

该文章是一篇遥感图像融合的文章，但在图片的预处理中，使用风格迁移的方法对图片进行了处理，使得使用经典的SIFT方法进行图像配准拼接时能够找到更多对应特征，从而实现更好地融合效果。

1.Motivation

多模态遥感图像的自动配准是一个具有挑战性的问题，包括其中包括光学、光探测与测距、合成孔径雷达图像等多种图像之间的配准问题。由于成像原理的不同，这些图像在局部区域的灰度值、纹理和景观特征也不同。这也使得传统的图像配准方法难以获得满意的配准结果。

2.Model

对于多模态图像A，B，首先使用CNN进行特征提取。这里采用风格迁移中常用的VGG-19网络提取5个不同尺度的特征。从深层特征开始进行图像重构。在L=5时，定义重构图像与源图像相同。随后采用NNF（最近邻搜索）的方法进行特征的匹配（其中A与重建得到的B’匹配，B与重建得到的A’匹配），得到layer5的特征映射关系。在此基础上进行反卷积，实现上采样的操作，进行layer4的特征重建。如此重复到layer1再经过图像重建得到A的风格化图像A‘和B的风格化图像B’。再以A’,B’进行图像的配准操作。

3. Method

3.1 sytle transfer

使用VGG-19网络进行不同尺度上的特征抽取，随后从深层特征开始进行特征的匹配，通过NNF方法得到图像特征的映射关系φa->b,φb->a.在深度特征的基础上进行浅层特征的恢复，此处为了使图像恢复上层的大小，并未直接进行上采样，而是进行了反卷积，这样可以减少信息的丢失（反卷积同样存在可能出现棋盘伪影的问题。

通过如上损失函数，将信息损失最小化。

layer L-1即为上式所求，其中○是对应元素相乘。W为权重响应

3.2 Similar Image Matching
我们使用经典的局部特征算子来对齐图像，scale-invariant
feature transform (SIFT)

4.Result

5.Conclusion

1.拓宽了风格迁移方法的使用范围
2.准确率上提升较高，但运行速度变慢许多
3.可以考虑在VGG层数的选择上做取舍。