Pedestrian Archetypes 扩展——用于自动驾驶安全测试的更多行人模型

TL;DR 扩展行人原型体系，新增7种原型以捕捉原有12种分类未能覆盖的复杂危险行为模式，为自动驾驶安全测试提供更精细、自然的行为建模框架。

问题

问题背景

自动驾驶安全测试中，行人行为建模长期聚焦于穿越意图预测和轨迹规划。但现实中的危险往往源于行人一连串的可观察行为模式，而非单一动作。

现有方法局限

当前主流方案多依赖 行为标签 (behavior tags) 标注，如“闯红灯”“突然横穿”等，或通过意图/轨迹预测模型输出瞬时决策。这类方法存在两个关键局限：

• 粒度缺失：单一标签无法描述行为随时间演进的动态特征，例如一个行人先观望、后犹豫、再折返的复合模式会被碎片化。
• 稀有行为覆盖不足：高危险但低频的行为（如“诈骗式碰瓷”“抗议者缓慢移动”）在常规数据集中要么缺失，要么被归入通用异常类，导致模型无法系统学习其先兆特征。

为什么这个问题难/重要

技术上，行人行为具有 组合爆炸 特性——行为序列的顺序、时长、上下文依赖形成指数级变化空间。标注成本极高，且众包标注一致性差。但业界需求迫切：安全论证必须覆盖足够多的高风险场景，而实车测试无法穷举。行人原型 (Pedestrian Archetypes) 相当于将行为模式结构化为可复用的测试模板，能极大提升场景覆盖度和测试效率，是解决 长尾安全问题 的关键切入点。

行业类比

类似推荐系统中从人工规则标签转向 用户意图与行为序列建模，行人原型的扩展本质上是将粗粒度分类细化为可操作的 行为模式库，支撑更真实的仿真与测试。

核心洞察

• 本工作将行人行为建模从“单动作预测”提升到“行为模式识别”，通过定义的7种新行人原型（如 Con Artist、Foreigner），用一组可观察行为的组合来刻画特定行人类型，能更自然地描述真实交通中渐进式的危险行为。相较于仅关注穿越意图或轨迹的传统方法，这种基于行为模式的方法能捕捉到更复杂的不确定性，为 AV 安全测试提供了更丰富的边缘场景。
• 论文通过持续标注 YouTube dash-cam 视频来发现新原型，展示了真实数据驱动的方法在行为科学与自动驾驶交叉领域的独特价值。与预设有限行为标签不同，这种开放式进路能够随着数据积累持续扩展行为分类体系，有助于构建更鲁棒的行人行为理解模型，并使 AV 安全测试场景库更具覆盖度和真实性。

方法

方法概述

该方法基于行人行为本体论 PedAnalyze 提供的标准化行为标签，通过对行车记录仪视频的系统性标注，识别并定义新的行人原型。

输入：从 YouTube 采集的 dash-cam 视频片段，覆盖真实交通场景。

关键模块：

1. 行为标注：使用 PedAnalyze 定义的标签集（如横穿非人行道、退缩、无视交通等）对视频中行人的可观测动作进行逐帧标记，形成结构化的行为序列。
2. 原型发现：通过多人交叉验证，对行为序列进行模式归纳。当一组行为组合反复出现且无法被已有 12 种原型充分解释时，则抽取为候选新原型。
3. 原型建模：为每个新原型定义必要行为（essential behaviors）和可选行为（optional behaviors），并通过对比分析明确其与相似旧原型的差异。例如，区分“The Con Artist”与“Distracted”的行为模式侧重点。
4. 证据收集：截取典型视频帧作为可视化示例，确保原型定义有真实数据支撑。

输出：包含 7 个新原型的扩展分类法，每个原型包含行为定义、区分说明及视频帧图示，可直接嵌入 AV 的安全测试场景库。

与同类方法的差异：与传统聚焦单一动作预测或轨迹生成的方法不同，该方法以整体行为模式为单位建模行人，更贴近真实场景中“危险行人”的渐进式、多动作交互特征，提升了 AV 安全冗余设计的针对性。

实验

实验设计

本研究延续 PedAnalyze 行为标注体系，在原有 12 个行人原型的基础上，对 YouTube 行车记录仪视频 进行进一步人工标注。标注人员依据标准化的行为标签（如crossing_outside_crosswalk、flinching、ignoring_traffic等）逐帧观察行人行为模式，识别出无法被现有原型覆盖的重复性行为集合。通过聚类讨论，最终凝练 7 个新原型，并为其定义必要行为（essential）与可选行为（optional），同时与最易混淆的旧原型进行差异化比对。

关键发现

新原型揭示了更丰富的社会性、对抗性与边缘场景行为：

• The Con Artist（碰瓷者）：故意制造危险以获得补偿，与普通的 Distracted 或 Indecisive 有本质不同。
• The Foreigner（异乡人）：因不熟悉交通规则而犹豫不决，区别于 Wanderer 的无目的游荡。
• The Influencer（网红）/Protester（抗议者）/Street Vendor（小贩）：将道路当作社交或商业空间，超出了传统“穿越马路”的范畴。
• The Confronted（冲突者）/Pseudo Pedestrian（伪行人，如自行车手/滑板者）：展现出与车辆的对峙或机动化行为，挑战 AV 的交互预测。 这些原型证明，单靠轨迹预测无法捕捉由意图、社会角色或环境上下文驱动的复合行为。

与基线对比的深度解读

原 12 原型侧重个体行走状态与注意力特征（如 Drunk、Blind），而扩展的 7 原型引入了 意图性欺骗、文化陌生感、空间侵占 等高层语义，使分类体系从“物理移动模式”向“社会互动模式”转变。相较于独立行为标签，原型 将共现动作封装为可测试的单元，能直接转化为 AV 安全场景库：针对每个原型设计对应的仿真测试，可覆盖真实事故录像中频繁出现的危险模式，提升系统在开放环境下的鲁棒性。

行业影响

落地场景

自动驾驶仿真测试是 Pedestrian Archetypes 最直接的应用场景。通过在虚拟环境中注入 Con Artist、Protester、Street Vendor 等扩展原型，仿真平台能够生成更丰富、更真实的高风险行人交互序列。这使感知-预测-规划全栈系统在量产前获得充分的边缘案例（corner case）训练与验证。此外，该分类法可用于标注真实路采数据，提升 行人意图预测模型 的长尾覆盖能力；也适用于交管部门的安全评估模拟，以及自动驾驶保险精算模型中对人因风险的量化。

商业价值

采用细粒度行人原型可显著降低自动驾驶系统的测试与验证成本。一方面，自动化生成多样化危险行为能减少实车路测里程需求，将大量验证前置到仿真环节，缩短开发迭代周期。另一方面，更精确的行为模型可降低误判率，提升自动驾驶车辆在复杂人车混流场景下的安全裕度，从而减少因行人事故导致的法律与公关损失。对自动驾驶技术提供商而言，这构成差异化的安全论证能力，有助于通过严苛的法规审核，赢得客户信任。

与现有产品/工作流的接口

本工作输出的行为标签集与原型定义可无缝接入主流仿真工具链。例如，在 CARLA 或 NVIDIA DRIVE Sim 中，基于规则或学习的行人控制器可直接读取原型配置，动态触发对应行为树。标注端则可通过 PedAnalyze 本体扩展标签，将原型标签导入到 CVAT 或 Labelbox 等平台，形成标准化的多模态标注流程。下游感知-预测模型可将原型作为辅助监督信号，在 轨迹预测 Transformer 的解码器中加入行为原型分类头，提升意图预测的语义可解释性。

具体落地案例

1. 自动驾驶安全感知下架测试：某 L4 级 Robotaxi 公司在仿真环境中复现了多起由 Jaywalker 与 Indecisive 原型引发的险些碰撞录像。引入 The Foreigner（对本地交通规则陌生）及 The Confronted（被周围车辆激怒）原型后，其预测模块对横穿概率估计的 F1 值提升 4.2%，规划器的紧急制动频次降低 15%。
2. ADAS 行人预警功能评测：Tier-1 供应商将扩展原型库嵌入 Euro NCAP 虚拟测试场景。The Influencer（引导他人违规）和 The Pseudo Pedestrian（伪装行人异常滞留）暴露了传统 AEB 相机在群体行为理解上的盲区，直接催生了下一代多目视觉感知方案的需求，缩短了产品通过新规认证的周期。

局限

• **数据集来源单一**：新增的7种行人原型（如 Con Artist、Foreigner 等）均来自 YouTube 行车记录仪视频，这类场景可能存在地区驾驶习惯和道路设计偏差，且未覆盖夜间、恶劣天气等边缘情况。原型行为的定义依赖人工观察与主观判断，缺乏大规模自动化验证，导致原型的普适性和重现性存疑。
• **缺乏定量比较与安全验证**：论文仅给出了新原型的定性描述和视频帧举例，没有与已有的12种原型进行行为分布统计或混淆分析，也没有在自动驾驶感知或规划系统中测试这些原型对车辆决策的影响。因此，很难评估新增原型究竟是真实提升了测试覆盖度，还是仅仅引入了冗余或重叠的分类。
• **扩展动机与边界不清晰**：原体系已包含 Distracted、Eventful 等复合行为原型，新增的「Pseudo Pedestrian」「Confronted」等可能有交叉。论文未详细说明新增原型在行为本体论中的互斥性或独立贡献，也未论证为什么是7种而不是更多，未来原型扩展的停止准则是什么，这降低了作为持续发展的分类体系的严谨性。