Pegasus 1.6 by TwelveLabs

大家好，我是 Aiden，TwelveLabs 的联合创始人兼 CTO。很高兴今天能和大家分享 Pegasus 1.6。

我们聊过的每个机器人和 physical AI 团队都卡在同一个问题上：手头有大量第一人称素材，是动作标注和下一动作预测的原材料，却没有一个真正为理解它而构建的基础模型。通用视频模型是在广播和第三人称素材上训练的。把它们拿去分析可穿戴设备或机器人自己的摄像头画面，它们就会漏掉真正发生的事情。

Pegasus 1.6 就是我们的答案。它是 TwelveLabs 首个专为 egocentric（第一人称）视频理解打造的模型。Pegasus 1.6 在 Pegasus 1.5 的 Time-Based Metadata (TBM) 基础上扩展，TBM 能从自定义 schema 中提取带时间戳的结构化 metadata，这次新增了对 egocentric 视频和任务叙述的支持。我们还增强了对 手、工具和物体交互 的细粒度识别，同时加快了高吞吐视频工作负载的处理速度。

作为对 1.5 能力的更新，我们还提升了深度 metadata 提取和 grounded entity recognition 的表现——也就是能根据视频里的上下文线索给角色命名。

具体来说，对机器人技术和数据团队而言，这意味着：把 Pegasus 用在原始 egocentric 片段上，就能拿回结构化的动作标签、合规评分和时间戳，可直接用在训练 pipeline 里，而不用再走一遍每小时的素材要花 $4–$22 的手动标注流程。

physical AI 对我们来说是个新领域，所以如果你在处理 egocentric（人类或远程操作）数据时遇到边界情况，我很想

had a blast collaborating with @c3lim and the @TwelveLabs team on this new launch.

Pegasus 1.5 launched 6 months ago, with autonomous and reliable segmentation, long-form video support, and SOTA performances. Pegasus 1.6 pushes the model forward by adding support for first-person video, and faster processes, enabling new opportunities for robotics and physical AI teams.

The community loved 1.5 (Top Product of the Day, featured in the daily newsletter), hope you'll enjoy 1.6!

Follow @TwelveLabs for future launches (spoiler alert: soon)

Do you think egocentric video could become one of the main data sources for training robots?

Congrats @aiden_lee7 & team!

Thanks for hunting @fmerian :)

Really neat. How dependent is it on existing commercial models or is it enough of its own thing?

Heard about TwelveLabs because of the ElevenLabs acronym, and love seeing it grow into such a mature, cool product!

这太厉害了！