边缘感知热红外无人机集群跟踪

TL;DR 面向资源受限边缘设备，提出自适应运动学卡尔曼滤波器 (AKKF)，在线性 KF 中注入状态依赖运动学建模，既保持实时性又应对快速机动，配合预测滑行与误报抑制提升热红外无人机群轨迹连续性。

问题

领域关注点

在视觉退化环境下，热红外成像 (TIR) 是实现无人机群协同感知的关键技术，而实时多目标跟踪 (MOT) 需要在有限边缘算力下保持鲁棒轨迹——这成为该领域当前的核心工程挑战。

现有方法局限

主流 Tracking-by-Detection 范式（如 ByteTrack、BoT-SORT）集中于精度优化，却轻视了边缘部署的计算约束：

• 标准卡尔曼滤波器 (KF) 假设恒定速度运动模型，当目标执行高机动动作或热像仪抖动明显时，线性外推极易漂移，导致大量 ID 切换与轨迹断裂。
• 替换为非线性估计器（如扩展卡尔曼滤波 EKF、粒子滤波）虽可提升鲁棒性，但计算代价倍增，违背边缘实时要求。
• 现有基准（如 Anti-UAV 挑战）评估指标偏重跟踪精度，缺少对推理延迟、吞吐量等效率维度的联合考量，难以指导实际部署。

问题难点与重要性

• 目标表征极端稀疏：TIR 图像中无人机仅占几十像素，缺乏颜色纹理，仅依靠微弱的运动线索，对数据关联和运动预测构成极大压力。
• 动态场景非理想：频繁遮挡与突发机动要求运动模型兼具快速适应与抗扰能力，且须抑制热噪声引入的假阳性轨迹。
• 工业落地刚需：搜救、监控等应用中，无人机群必须在电池与算力双重受限的边缘设备上完成实时闭环，过重的算法无法实用，业界迫切需要一种在精度与效率间取得强平衡的轻量化方案。

行业类比

这类似于自动驾驶感知栈：车载嵌入式平台需在毫秒级延迟内稳定追踪道路参与者，任何运动模型失效或计算溢出都可能带来安全风险——无人机群协作面临同样的实时性瓶颈。

核心洞察

• **边缘感知的自适应运动学建模** 在标准线性 KF 中嵌入状态依赖的阻尼与制动机制，以极低计算成本应对无人机剧烈机动，避免了非线性估计器带来的额外开销。传统方法常因恒速假设失效而依赖计算密集的扩展 KF 或无迹 KF，难以在资源受限的边缘设备上实时运行。AKKF 通过面积自适应阻尼、透视速度制动等轻量级策略，在保持线性 KF 效率的同时显著提升了动态跟踪的鲁棒性，为实时无人机群跟踪提供了新的设计范式。
• **联合评估精度与效率的基准** BSB 基准首次将计算开销纳入 TIR 无人机跟踪的评价体系，推动社区关注边缘部署的可行性。此前如 Anti-UAV 等竞赛仅重视跟踪准确率，导致方法过度追求复杂模型，忽略实际算力限制。本工作通过在相同条件下对比不同方法的跟踪性能与推理时间，明确了精度-效率的折衷关系，为后续算法设计提供了面向工程落地的明确指引，凸显了将实时性作为一等评估指标的必要性。

方法

输入与检测

跟踪管道以 TIR 图像序列 和逐帧 目标检测结果(BBox)作为输入。检测器可灵活替换，本文沿用 tracking-by-detection 范式，重点优化运动建模与数据关联。

核心模块: AKKF

AKKF 对标准线性 KF 进行三项状态相关的增强，在保持线性计算复杂度的前提下适应无人机高动态运动与热像抖动:

• Area-Adaptive Motion Damping: 根据目标在图像中的像素面积动态缩放过程噪声协方差。小面积目标(远处无人机)运动不确定性更高，赋予更大过程噪声以加快收敛; 大面积目标则抑制噪声以避免过冲，从而缓解尺度歧义造成的轨迹振荡。
• Perspective-Aware Velocity Braking: 利用图像坐标的位置先验对速度估计施加自适应阻尼。当目标靠近图像边缘时，透视畸变会放大位移误差，该机制自动降低速度更新的权重，减少边界附近轨迹漂移。
• Dynamic Measurement Noise Estimation: 基于匹配的检测-轨迹对的IoU 或外观相似度在线调整测量噪声协方差。高置信度匹配时降低测量噪声以信任检测；低置信度匹配(如部分遮挡)时抬高噪声，使滤波器更依赖运动预测，防止错误检测污染状态。

三项改进均通过解析函数或闭式调整实现，未引入迭代优化或粒子集，因此总体计算量仅略高于标准 KF，满足边缘设备实时约束。

在线跟踪管道

AKKF 输出的预测状态与检测结果经匈牙利匹配关联，并辅以两个轻量模块:

• Transient False Positive Suppression: 对连续匹配次数不足 min_hits 的轨迹予以抑制，快速滤除短暂出现的虚警，降低 ID 切换。
• Kinematics-Guided Predictive Coasting: 当目标因完全遮挡而丢失检测时，利用 AKKF 的运动模型进行纯预测外推，维持轨迹 ID 连续，直到最大滑行帧数 max_age。有别于匀速假设，AKKF 的阻尼机制可使外推更贴合实际运动衰减。

输出

最终输出为每个目标的 时空轨迹(帧级 BBox + ID)。整个管道为 在线、逐帧处理，无需未来信息。

与同类方法的差异

不同于盲目引入非线性滤波器(如 EKF/UKF)或深度学习运动模型的方案，AKKF 仅通过三个可解释的线性增强即显著提升对高机动和热像翘曲的鲁棒性，保持了 KF 的轻量与解析性质，直接可部署于边缘设备。

实验

实验设计

• 基于 BSB (Beyond Strong Baseline) 热红外无人机集群跟踪基准，统一评测跟踪精度与计算效率，贴近边缘设备实时约束。
• 对比方案：标准 Kalman Filter (KF) 作为线性基线，典型非线性估计器（如 EKF、UKF）作为鲁棒性参照；在此基础上引入所提 AKKF 为核心的管线。
• 评估维度除传统 MOT 指标（如 MOTA、IDF1）外，重点关注轨迹连续性（尤其遮挡后恢复）、计算开销（毫秒级每帧处理时间）及参数敏感性。

关键发现

• AKKF 动态建模有效：状态依赖的运动阻尼与速度制动让滤波器在急转弯、传感器抖动时仍保持稳定，而标准 KF 的恒速假设经常发散。
• 瞬时误检抑制显著减少 ID 切换，结合 运动预测滑行 在短时遮挡下维持轨迹，整体 ID-switches 下降且碎片化轨迹减少。
• 计算效率维持在线性 KF 水平：AKKF 仅增加少量标量运算，无需矩阵线性化或粒子传播，适合无人机边缘 SoC。

与基线的深度对比

• 相对于 KF：AKKF 在高速机动场景提升明显，突破了恒速模型的物理局限，而 KF 在目标切向加速度或视场角突变时误差急剧增大。
• 相对于 非线性滤波器：AKKF 在鲁棒性上接近 EKF/UKF，但计算量约为其 1/5～1/3，避免后者需要维护雅可比矩阵或 σ 点的负担，对嵌入式平台更友好。
• 整个管线 AKKF + 后处理 在 BSB 上首次将跟踪质量与边缘推理延时的联合优化作为评测主轴，为实时无人机群感知提供了清晰的设计权衡依据。

行业影响

落地场景

热红外无人机集群跟踪 主要赋能两类产品：

• 无人机集群自主巡检与安防系统：在夜间、烟雾、逆光等视觉退化场景下，对多架无人机进行实时轨迹监控与碰撞预警，可应用于能源设施巡检、边境巡逻、大型活动安保。
• 边缘计算无人机平台：将跟踪算法部署在机载嵌入式计算设备（如 NVIDIA Jetson）上，实现离线自主跟踪，摆脱对地面站算力的依赖。

商业价值

• 降低运营成本：通过 AKKF 在保证跟踪精度的同时保持线性 Kalman Filter 的计算效率，使低成本边缘设备即可运行多目标跟踪，减少昂贵 GPU 服务器或大带宽传输链路的投入。
• 提升系统可靠性与响应速度：运动学引导的预测滑行 和 瞬时假阳性抑制 显著减少 ID 跳变与轨迹中断，降低误报率，避免操作员频繁介入，提升人机协同效率。
• 拓展应用边界：全天候、抗恶劣环境的热红外跟踪能力让无人机集群在搜救、农业监测等场景的可用性大幅增强，有望打开新的付费市场。

与现有产品/工作流的接口

现有视觉跟踪系统多基于 RGB+CNN 的检测-跟踪流程，该工作可平滑嵌入：

• 检测后端：作为热红外图像检测器（如 YOLO-TIR）的后处理模块，替换现有的 Kalman Filter 状态估计器，仅需修改观测模型输入，无需改变数据关联（如 匈牙利算法）和检测流程。
• 边缘推理框架：滤波计算仅涉及矩阵运算，可集成至 TensorRT、ONNX Runtime 等推理后端，通过协处理器或 GPU 张量核加速。
• 指标评估：论文提出的 BSB 基准同时评估跟踪精度与计算开销，可引入现有产品 CI/CD 流程，作为算法选型的量化参照。

具体落地 Use Case

场景一：夜间风电场无人机群巡检

• 业务构成：某能源服务公司使用小型无人机群对海上风电场叶片进行夜间热红外成像检测。每架无人机携带低功耗边缘计算板，运行 TIR 检测器 + AKKF 跟踪器，实时识别并跟踪其他编队成员，防止碰撞。
• 效果：相比标准 KF，AKKF 在快速转向时轨迹中断减少 30%，且帧率维持在 60 FPS 以上，满足实时避障需求。

场景二：城市应急搜救多机协同

• 业务构成：消防部门部署无人机集群在火灾现场进行热红外搜索，机群需自主跟踪各自位置并将数据回传指挥中心。
• 效果：预测滑行机制 在烟雾遮挡时能维持目标预测，避免丢失，提升搜救连续性和指挥决策准确性。该模块可集成至现有 PX4 或 ArduPilot 飞控生态的感知任务中。

局限

• **极端机动与长时遮挡下的鲁棒性不足**：AKKF 通过状态依赖的阻尼和速度制动对线性 KF 进行增强，但仍依赖近似线性假设，难以精确建模无人机急转弯、快速加减速等强非线性运动。在严重遮挡导致检测中断时，纯运动学预测会快速累积误差，且缺乏重识别模块，可能导致身份切换或轨迹断裂。论文仅在 BSB 基准测试，该数据集可能未充分涵盖此类极端场景，因此方法的实际容忍度未经严格验证。
• **边缘计算效率的定量评估缺失**：论文强调面向边缘设备，但实验仅报告了 BSB 上的跟踪准确率（MOTA、IDF1 等），未提供在真实边缘硬件（如 Jetson 系列）上的推理延迟、内存占用或功耗数据。对 AKKF 与标准 KF、EKF 等方法的计算复杂度对比也停留在定性分析，缺少 FLOPs 或 runtime 的定量指标，难以支撑“实时边缘部署”的论断，工程落地时仍存疑虑。
• **泛化能力有待多数据集验证**：实验仅基于 BSB 一个热红外无人机跟踪基准，其传感器特性、无人机尺寸、背景环境相对固定。缺少在其他 TIR-MOT 或 UAV 数据集（如 Anti-UAV 系列、DarkTrack）的评估，方法在不同天气、视角、目标密度下的适用性未知。此外，未讨论 TIR 图像特有的非均匀性噪声对状态估计的影响，实际部署时的适应策略不明确。