Skip to main content

Scattering-Keypoint-Guided Network for Oriented Ship Detection in High-Resolution and Large-Scale SAR Images

学习到的视觉特征无法适应显著的散射变化。因此，有必要深入研究散射机制以指导自适应特征学习。一些研究 [1], [34] 基于 SAR 成像原理分析了 测问题和目标特征。然而，散射信息仅在预处理阶段被利用，并且网络自适应地学习不同条件下目标的判别性特征仍然是一个挑战。

在 SAR 图像中，一些不相关的元素（外观相似物），如暗礁和港口设施，可能呈现出与船舶相似的视觉属性和散射机制。它们可能被检测器错误地识别，从而影响检测性能的可靠性。如果我们只关注物体本身，则很难区分这些误报和真实物体。通常，周围的上下文可以提供更多的语义信息来理解复杂场景中的物体。例如，海面杂波具有相对较低的散射强度，使船舶更加突出，而对于内陆设施，周围区域通常呈现出一种更复杂的散射现象。

主要结构​

overview

它由一个带有CFS模块的特征提取网络和一个散射关键点引导的检测头组成。我们使用 ResNet50 [57] 作为主干网络。为了丰富提取的特征 FF 的上下文信息，我们使用设计的CFS模块改进了特征提取网络，如图2所示。CFS模块的灵感来自选择性内核机制，旨在自适应地选择多尺度特征融合中的判别特征。

CFS

下面将重点放在散射点拓扑的检测头。

info

作者认为根据SAR成像原理，同一物体在不同条件下可能呈现出不同的散射特性。 许多因素，如入射角、极化模式、物体方向和海况，都会对成像结果产生重大影响。 这给基于深度学习方法中的特征提取带来了巨大的挑战。 研究发现，当成像条件发生变化时，检测器很可能会遗漏同一物体。 我们认为，卷积神经网络学习到的视觉特征不足以进行目标表征，并且不能自适应地表达散射变化。 因此，应充分利用与散射机制相关的信息来指导自适应特征学习。

具体做法：通过 Harris 角点检测器提取具有局部峰值的点，以反映其散射分布。提取的点如下图 (c) 所示。考虑到这些点是冗余且不规则的，我们使用 K-means 将它们划分为九个簇（对应于 3×33 \times 3 卷积核的大小）。我们将下图 (d) 中显示的聚类中心称为散射关键点，这些关键点可以被视为代表点，描绘了局部散射区域。

下图分别展示了: (a) 船舶的光学图像。(b) 船舶的 SAR 图像。(c) Harris 角点检测器提取的点。红色圆点表示提取结果，反映了散射强度分布。(d) 聚类结果。红色十字表示聚类中心，描绘了局部散射区域和船舶的结构特征。

scattering

将预测的散射关键点与deformable convolution结合，预测关键点的偏移量：

φ={pk∣k=1,...,9}={p+Δpk∣k=1,...,9}\varphi = \{p_k | k = 1, ..., 9\} = \{p + \Delta p_k | k = 1, ..., 9\}

采用Chamfer Loss来监督散射关键点的学习

Lscatter=1N∑i=1N(118∑m=19min⁡n∣∣pmi−p^ni∣∣2+118∑n=19min⁡m∣∣pmi−p^ni∣∣2)L_{scatter} = \frac{1}{N} \sum_{i=1}^{N} (\frac{1}{18} \sum_{m=1}^{9} \min_{n} || p_m^i - \hat{p}_n^i ||^2 + \frac{1}{18} \sum_{n=1}^{9} \min_{m} || p_m^i - \hat{p}_n^i ||^2 )

最后，使用3x3 deformable convolution对特征进行refine，输出用于bounding box回归。