Skip to main content

STC-Net: Scattering Topology Cue-Based Network for Aircraft Detection in SAR Images

散射特征点提取​

首先通过平均 (5 \times 5) 滤波器处理图像，以减轻斑点噪声的影响。其次，考虑到飞机各个部分的散射特性，我们使用不同的方法提取散射点。对于主要涉及边缘包裹的机翼和尾翼，采用 Canny 算法提取边缘信息。相反，对于主要包含二面角和三面角反射的机头和发动机，则利用 Harris 算法提取角点信息。如图 3(b) 所示，飞机的散射点主要由上述两种类型的点组成。提取范围被限制在训练期间的ground-truth bounding box内，这有助于消除不必要的干扰，例如来自终端的干扰。在抑制这些高强度干扰后，飞机目标被突出显示，从而有助于提取角点和边缘信息。最后，通过 k-means 聚类算法获得中心点

设计了一个 scattering keypoints prediction branch (SKPB) 去预测特征点

alt text

结合包含在 scattering keypoints 中的结构信息以获得更具区分性的特征非常重要。在每个 scattering keypoint 处，我们构建一个以其为中心的 ST 以重新表示飞机，如图 4 所示。受 VarifocalNet [64] 中提出的星型框的启发，所提出的 ST 基于 scattering keypoints，反映了飞机的结构特征。基于此，提出了 STFFM，其中包括 ST-SFM 和 ST-CAM。

本文提出了一种基于散射拓扑线索网络 (STC-Net) 的SAR图像飞机检测方法，旨在提高飞机识别率和预测结果的准确性。该方法的核心思想是利用星型拓扑 (ST) 对飞机进行建模，强调飞机的重要组成部分（如机头和机翼），并将这些离散的散射中心连接成一个整体。

核心方法：

  1. 星型拓扑 (ST) 建模：

    • 将飞机建模为ST，其中节点代表飞机上的关键散射中心，如机头、机翼和引擎。
    • ST不仅强调了这些关键组件，还将它们连接成一个有凝聚力的单元。
    • ST包含节点信息（构成ST的实体的属性）和邻域信息（节点之间的空间关系）。节点位置集合表示为 S={s1,s2,...,sM}S = \{s_1, s_2, ..., s_M\}，其中 si=(xi,yi)s_i = (x_i, y_i) 表示节点的二维坐标。

  2. ST空间融合模块 (ST-SFM)：

    • 利用ST的邻域信息动态聚合离散的散射中心，以恢复更完整的飞机特征。
    • 使用可变形卷积 (DC)，并利用ST的邻域信息来调整DC的偏移量。
    • 具体步骤：
      1. 初始偏移量： 通过3x3 和 1x1卷积操作得到初始偏移量。
      2. 计算相对坐标： 对于节点sis_i, 其他散射关键点的相对坐标为 R={(x1−xi,y1−yi),...,(xM−xi,yM−yi)}R = \{(x_1 - x_i, y_1 - y_i), ..., (x_M - x_i, y_M - y_i)\}
      3. 细化初始偏移量：使用相对坐标RR来细化初始偏移量。
      4. 可变形卷积： 基于细化的偏移量在特征图PiP_i上进行DC操作，得到Pi′P_i'.
    • 节点数目M等于卷积核大小的平方。卷积核通常大小为3，所以M设为9。 alt text

  3. ST通道注意力模块 (ST-CAM)：

    • 利用ST的节点信息来增强飞机显著性，抑制背景干扰。
    • 基于ST的节点信息生成通道描述符，从而突出飞机特征。
    • 具体步骤：
      1. 获取节点位置集合SS。
      2. 基于节点si=(xi,yi)s_i = (x_i, y_i) 的二维坐标, 从Pi′P_i'中获得特征向量fi∈RCf_i \in R^C , C为Pi′P_i'的通道维度。
      3. 融合所有节点信息，获得融合特征efe_f : ef=Fsq(F)=AvgP(Cat(F))e_f = F_{sq}(F) = AvgP(Cat(F)) 其中，Cat(⋅)Cat(\cdot)表示连接操作, AvgP(⋅)AvgP(\cdot)表示平均池化操作。
      4. 捕捉通道间依赖关系，得到通道注意力cattc_{att}： catt=Fex(ef)=σ(FC(ef))c_{att} = F_{ex}(e_f) = \sigma(FC(e_f)) 其中，FC(⋅)FC(\cdot)表示全连接层，σ\sigma表示ReLU函数。
      5. 通过cattc_{att}缩放Pi′P_i'，得到最终ST-CAM的输出Pi′′P_i''： Pi′′=Scal(Pi′,catt)P_i'' = Scal(P_i', c_{att}) 其中，Scal(⋅)Scal(\cdot)表示Pi′P_i'和cattc_{att}之间的通道乘法。 alt text

  4. 完整性和一致性损失 (CCLoss)：

    • 包含完整性感知标签和正样本加权函数。
    • 完整性感知标签：结合IoU和散射关键点置信度，更准确地描述定位精度。公式为: qcom=q×psk+η×IoU1+ηq_{com} = \frac{q \times p_{sk} + \eta \times IoU}{1 + \eta} 其中，qq是类别标签，pskp_{sk}是散射关键点置信度，IoUIoU是预测框和真实框的交并比，η\eta是一个调节参数。
    • 正样本加权函数： 增强分类和定位分支的一致性。公式为： wp=(1−scon)βw_p = (1 - s_{con})^\beta 其中，scon=p×IoUs_{con} = p \times IoU 表示一致性得分，pp是预测概率，β\beta是调整因子。
    • CCLoss公式： CCL(p,qcom)={−wp(qcomlog⁡(p)+(1−qcom)log⁡(1−p)),qcom>0−αpμlog⁡(1−p),qcom=0CCL(p, q_{com}) = \begin{cases} -w_p (q_{com} \log(p) + (1 - q_{com}) \log(1-p)), & q_{com} > 0 \\ -\alpha p^\mu \log(1-p), & q_{com} = 0 \end{cases}

  5. 总损失函数：

    • 总损失函数包括散射关键点损失 (LspL_{sp})、分类损失 (LclsL_{cls}) 和定位损失 (LboxL_{box})： L=λLsp+Lcls+LboxL = \lambda L_{sp} + L_{cls} + L_{box} 其中，λ\lambda 是损失调节器。
    • 散射关键点损失： 使用Focal Loss Lsp=FL(psk,qsk)L_{sp} = FL(p_{sk}, q_{sk})
    • 分类损失： 使用CCLoss Lcls=CCL(p,qcom)L_{cls} = CCL(p, q_{com})
    • 定位损失： 使用IoU损失 Lbox=1−IoUL_{box} = 1 - IoU

实验结果：

  • 在Gaofen-3 SAR飞机检测数据集 (GF3ADD) 和公开的SAR-AIRcraft-1.0数据集上进行了实验，证明了STC-Net的有效性和泛化能力。
  • 消融实验表明，每个提出的模块都有助于提高模型性能。
  • STC-Net在AP50和AP75上优于baseline 3.4%和4.6%。
  • 与其他CNN-based方法相比，STC-Net在多个评估指标上取得了state-of-the-art的性能。