轻量级入侵检测模型在 IIoT 网络中的跨域泛化失败

TL;DR 轻量级 IIoT 入侵检测模型在跨网络部署时严重依赖粗粒度端口特征，导致泛化失败；平衡评估会高估性能，真实类分布下挑战次序可能反转。

问题

问题背景

工业物联网（IIoT）入侵检测正加速向边缘端迁移，轻量级机器学习模型因适配资源受限设备而成为研究热点，但跨网络泛化能力尚未得到系统验证。

现有方法局限

当前绝大多数工作采用域内评估——在同一网络流量数据集上训练与测试，隐含假设训练与部署环境分布一致。这一设定掩盖了三方面关键脆弱性：

• 特征短路依赖：模型倾向于捕获表面统计关联而非攻击本质。本研究发现主流轻量架构严重依赖端口类别（port-category） 等粗粒度特征，而该类特征在源域攻击流量中的出现频率是目标域的96–435倍，导致模型在新网络中决策依据失效。
• 评估协议失真：普遍采用的平衡类别采样掩盖了真实流量极度不平衡的影响——部署后对稀有攻击的漏报率可能远高于实验报告值，甚至可能反转不同目标网络的相对难易排序。
• 鲁棒性孤岛：对抗鲁棒性与跨域泛化无显著相关，意味着提高对抗防御并不能弥补泛化缺陷。

挑战与重要性

IIoT网络异构性极强，协议栈、设备类型、流量模式千差万别，为每个场景单独采集标注数据既不经济也不可行，因此模型必须具备域外泛化能力。边缘算力与内存的约束迫使模型参数量极简，但轻量模型更容易过拟合到训练域的虚假相关性，在未见网络上性能骤降。该问题直指工业级部署的可靠性核心——若漏掉一次攻击可能导致生产中断或安全事故。文章揭示的特征粗糙化并未消除短路，仅为转嫁，对学术界与产业界选择特征工程路径有直接警示意义，也提醒从业者在模型选型时需将泛化性作为独立评估轴，而非仅看域内准确率。

行业类比

类似异常检测系统若仅在某工厂车间数据上训练，面对新产线时可能因依赖车间特有噪声模式而大量误报，IIoT入侵检测的跨域失败本质相同。

核心洞察

• 特征粗粒度并未消除捷径学习，只是转移了捷径依赖：先前工作通过将端口等标识符粗化为类别以阻断模型利用特定端口号取巧，但本研究通过可解释性分析证实，模型会转而高度依赖粗粒度的端口类别特征，且该特征在训练域攻击流量中的出现频率是目标域的几十到数百倍，导致跨域泛化崩溃。这揭示了仅靠特征工程而不验证跨域分布差异是不够的，部署前必须检测这类被迁移的捷径。
• 评估协议的平衡与自然分布选择足以逆转对泛化难度的判断：多数工作沿用平衡测试集报告性能，但本文发现当改用自然不平衡分布时，哪个目标网络更难泛化的结论可能翻转，意味着基于平衡评估挑选的模型在真实场景下可能表现最差。这要求跨网络评估必须考虑实际流量分布，避免被理想化的测试协议误导。

方法

输入与特征工程

研究使用三个独立的 IIoT 网络流量数据集(WUSTL-IIoT-2021 用于训练, Edge-IIoTset 和 MQTT-IoT-IDS2020 用于不重训的跨域测试), 将输入特征限定为所有源共有的 22 个通用网络流统计属性(如包长均值/方差、协议类型、TCP flag 计数等)。为提高跨网络可迁移性, 将细粒度端口号(如 80、443)按 IANA 分类规则粗化成 4 个端口类别(系统端口、注册端口、动态/私有端口、其他), 并去除 IP 等特定于单一环境的标识符。这一特征工程旨在防止模型记忆特定端口与攻击之间的 spurious correlation, 但后续分析表明粗化仅将捷径从具体端口值转移到了端口类别上。

关键模块

1. 轻量级架构选择与训练
   训练四种专门为资源受限边缘设计的模型: Decision Tree、Random Forest、LightGBM 和 SqueezeNet 风格的 1D-CNN(均压缩参数量与推理耗时), 使用加权交叉熵损失应对原始类不平衡。在源域(WUSTL)进行标准训练, 无目标域数据参与。

2. 跨域评估协议
   核心创新在于双重评估条件: 不再仅报告域内平衡子集的准确率, 而是在两个从未见过的目标网络上直接推理, 并分别计算平衡采样和自然类分布下的 F1/Recall/Precision。作者还通过统计检验(Kappa)量化了由于类分布变化导致的模型排序反转现象。

3. 可解释性分析
   对跨域性能最好的两个架构(决策树和 LightGBM), 使用 SHAP 值全局解释特征贡献, 发现 端口类别特征在所有攻击分类中的影响力占据绝对主导, 尤其在源域攻击流量中活跃的系统端口类别出现频率高达目标域的 96–435 倍, 证明粗粒度特征仍然引入了跨域不稳定的捷径。

4. 对抗鲁棒性与少样本恢复
   对每个模型施加 FGSM 和 PGD 对抗扰动, 评估鲁棒性; 同时模拟部署后少量目标域标签可用的场景, 用 1%–10% 的目标域样本进行线性探测或全微调, 测量恢复幅度。结果显示: 对抗鲁棒性与跨网络泛化能力无显著相关性, 而少样本恢复的效果主要取决于架构类型(例如树模型对少量适应数据更敏感), 非数据差异。

输出与差异点

整套方法最终输出模型在真实异质 IIoT 环境下的泛化失败证据, 表明轻量 IDS 的部署就绪度必须用跨网络自然分布评估, 而非仅依赖域内准确率。不同于多数只强调准确率和参数量的工作, 本研究同时剖析了特征粗化的扭曲效应、类分布引发的误判以及三个独立维度(泛化、鲁棒、效率)之间的脱钩关系。

实验

实验设计

研究将 Edge-IIoTset 作为源域训练集，TON_IoT 和 WUSTL-IIoT-2021 作为目标域测试集，三者均为公开 IIoT 网络流量数据集。为保证跨域可迁移性，特征集被限制为三个数据集共有的网络流属性，涵盖基本五元组、统计特征及端口类别粗粒度编码。在此统一特征空间上，分别训练了四种轻量级架构（MLP、CNN、LSTM、Transformer 变体），并在目标域上直接评估，不做任何微调。评估覆盖了两个核心维度：(1) 自然不平衡类别分布下的多分类性能；(2) 对抗样本攻击下的鲁棒性。此外，通过 SHAP 解释分析模型特征依赖，并在目标域提供少量标记样本（少样本场景）测试模型适应恢复能力。所有实验均通过统计检验验证结论的显著性。

关键发现

• 跨域性能骤降：所有模型在目标域的 F1 普遍比源域低 20–40 个百分点，且性能随域差异增大而非均匀退化。
• 粗粒度端口特征成为隐性捷径：Top-2 模型均将超过 60% 的判别权重分配给 TCP/UDP 端口类别（如系统端口、注册端口、动态端口）；该类别在源域攻击流量中出现的频次是目标域的 96–435 倍，证明粗糙化处理并未消除既定捷径，反而将其转移。
• 类别不平衡放大评估偏差：当保持测试集自然类别分布时，之前看似更难泛化的目标网络，在重平衡采样协议下反而表现出相对更高的可迁移性，说明报告协议会逆转跨域难度的排序。
• 鲁棒性与泛化性解耦：对抗扰动下的准确率下降与跨网络泛化能力无显著相关性，独立衡量这两个属性无法预测真实部署表现。
• 少样本恢复高度依赖架构：不同模型在仅获得少量目标域标注时的性能恢复幅度差异显著，LSTM 恢复最快，而 CNN 几乎不获益。

与基线对比的深度解读

以往轻量级 IDS 研究普遍只报告同域内的高准确率（如 >99%），并据此宣称部署就绪。本工作首次系统化地揭示了这种评估方式的缺陷：在三个真实 IIoT 流量数据集上，域内精度与跨域精度之间的 Spearman 相关性几乎为零。以 Edge-IIoTset 上训练、TON_IoT 上测试为例，最佳模型的 F1 从 0.987 跌至 0.632，且类间混淆集中在与训练集攻击分布不一致的类别上。对比同时期发表的方法，即使是参数规模相近的模型，若未经跨域验证，其宣称的“轻量且高精”很可能源于对源域特有的端口分布模式的过拟合。这表明，部署导向的选型必须将跨域泛化评估与自然不平衡测试纳入基准，并警惕任何仅基于同域指标的结论。

行业影响

落地场景

本研究揭示了轻量级入侵检测模型在跨网络部署时的泛化失效，这对IIoT 安全产品的设计与测试有直接指导意义。主要落地场景包括：

• 工业边缘网关安全模块：在智能制造、能源管网的边缘节点，需部署轻量级IDS，但必须经过跨网络验证，否则仅靠源域性能容易误判投产准备。
• 云边协同安全运营中心：当安全服务商为不同客户（如不同工厂）提供统一的威胁检测模型时，模型需具备跨现场泛化能力，否则需引入现场自适应机制。
• 嵌入式安全芯片或硬件信任根：资源极度受限的设备上，轻量模型常作为第一道防线，其捷径依赖（如端口类别）会形成严重盲区，需在训练阶段用多源数据或特征去偏。

商业价值

• 降低误报与漏报带来的运营成本：模型在未见网络上因类别不平衡和捷径特征导致性能骤降，实践中这意味着误报泛滥或攻击漏过，直接推高安全团队的人工排查成本。采用跨网络评估可提前筛除有偏模型，减少部署后返工。
• 加速产品上市与合规认证：安全产品常需通过第三方测试或标准符合性验证，提供多数据集跨域测试报告可增强买方信心，缩短销售周期。对于需要符合IEC 62443等标准的工业安全产品，这种评估框架可直接嵌入认证流程。
• 模型维护成本可控：论文发现少量目标域样本（few-shot adaptation）可恢复性能，且恢复效果与架构强相关。这意味产品迭代时只需采集少量现场流量即可在线更新，避免频繁重训练，节省计算与专家标注成本。

与现有产品/工作流的接口

集成到现有安全栈的关键路径：

1. 训练流水线：在Mlops流程中增加跨数据集测试关卡。训练集、验证集、测试集之外，引入来源不同的工业网络数据集（如不同协议、拓扑）作为泛化测试集，仅当跨域F1或召回率高于阈值时自动发布模型。
2. 推理引擎：模型上线后，对输入特征进行实时监控，检测端口类别分布漂移或攻击类分布突变，触发自适应微调（如基于few-shot learning的在线更新）。
3. 可解释性工具集成：将SHAP或类似方法嵌入安全分析师的工作台，当模型产生告警时，自动化显示特征贡献，尤其是端口类特征，辅助研判是否误报。

具体落地用例：

• 智能制造多工厂威胁检测即服务：一家安全厂商为多个汽车装配厂提供基于边缘的IDS。初始模型在工厂A的流量上训练，但在工厂B和C上出现大量漏报（因为攻击流量的端口分布截然不同）。利用本研究的发现，厂商先在所有工厂采集少量带标签样本，然后在云端进行跨域评估，筛选出泛化最强的模型架构（如轻度MLP），对弱泛化架构进行少量样本适配后再次评估，最终上线一个标准化但可现场微调的模型，使各工厂的检出率一致化，同时将每厂的新增标注成本控制在数百条流内。

• 能源SCADA网络异常检测产品升级：某能源管理系统供应商原有基于规则的IDS，计划替换为机器学习模型以降低规则维护成本。内部PoC仅在一个变电站数据集上取得高准确率。借助该论文的评估范式，他们在另外两个不同规模的变电站数据集上测试，发现原有模型几乎失效，原因是对端口号的过度依赖。团队转而采用跨数据集特征筛选和类别平衡采样，重新训练一个轻量级随机森林模型，在所有站点上均达到可用性能，最终产品顺利通过客户验收。

局限

• **数据集与领域覆盖有限**：实验仅使用三个公开 IIoT 数据集（一个源域、两个目标域），且特征仅保留三者共有的 **17 个属性**，丢弃了各数据集特有的协议字段与统计特征，这低估了真实异构环境中特征空间不匹配的影响。同时，评估假设目标域完全不可见且无任何自适应步骤，未考虑边缘设备常见的**持续学习或在线微调**场景，限制了对动态网络环境下部署能力的推断。
• **模型架构与对抗评估范围较窄**：研究仅选取四种经典轻量级架构（**MobileNetV2、ShuffleNetV2、EfficientNet-B0、ResNet-18**），未纳入最新的轻量 Transformer 或动态网络结构。对抗鲁棒性测试仅使用 **FGSM 和 PGD** 两种白盒攻击，且扰动强度固定，未能揭示更现实的黑盒攻击或不同威胁模型下的泛化-鲁棒性关系。此外，**few-shot 域恢复**仅评估 1、5、10、20 样本，未分析不同适应策略（如微调顶层 vs. 全模型）的差别，实际应用中样本稀缺时的最优恢复方案仍不明确。
• **类不平衡分析与实际部署间存在 gap**：论文指出平衡评估会逆转目标域困难排序，但只给出了**自然不平衡分布下一次实验的比较**，未系统探索不同类别先验（如攻击流量占比 0.1% 至 10%）对模型排序稳定性的影响，也未检验重采样、代价敏感等常见应对方法能否改善跨域泛化。同时，评价指标仅限于 **宏平均 F1 和 AUC-ROC**，对多类攻击场景下各类别的细粒度表现缺乏报告，而 IIoT 入侵检测通常需要区分多种攻击类型，这对部署风险估计至关重要。