无问芯穹联合清华、上交开源端侧推理引擎 APXInf
无问芯穹开源面向机器人本体的推理引擎 APXInf，想解决模型搬上机器人后的延迟、稳定性与接入成本问题。
无问芯穹联合清华、上海交大开源端侧推理引擎 APXInf，面向机器人本体部署。它把 Pi 0.5 在 Jetson Thor 上的端到端推理延迟从 278 毫秒降到 26 毫秒以内，推理频率达 38.46 Hz（每秒约 38 次决策），足以支撑机器人实时控制。
正文摘录
.png) 今天的具身模型，已经能够看懂环境、理解指令，并把看到的、听到的信息转化为机器人该怎么动的决策。但机器人最终还是要在物理世界里连续干活—— 从“眼睛看到”到“大脑决策”再到“手脚动起来”，整套流程都需要在极短的时间内完成闭环，这也是具身智能从 Demo 走向规模化应用，绕不开的核心关卡。 而当一个在云端运行良好的具身模型，放到机器人本体上，首先要面对的问题往往不是“模型够不够聪明”，而是推理系统本身： - 模型部署到机器人上，能不能开机 秒加载 ？ - 机器人本体的算力资源有限，能不能 榨干 端侧每一分算力？ - 每一次推理的延迟，能不能低到 不拖后腿 的程度？ - 开发环境里跑得好好的模型，到了机器人本体上，能不能 稳定不翻车 ？ 对于云端的聊天机器人而言，几百毫秒的延迟或许只是体验上的细微差异；但对于需要持续感知、连续决策和实时控制的机器人而言， 几百毫秒带来的可能是动作迟滞、轨迹不连贯，甚至多次任务的失败。 而当机器人走向规模化落地，还会叠加另一笔更加现实的“经济账”： 算力成本、功耗，以及有限硬件资源的利用率。 因此，具身智能规模化落地需要的，并不是简单地把云端推理框架“搬”到机器人本体，而是一套 真正面向端侧场景设计的推理系统：在有限的算力、功耗和成本约束下，兼顾小 Batch、低延迟与持续实时交互，并充分挖掘硬件的性能上限。