"The world doesn't pause while the AI thinks" is the honest framing most computer-use demos skip. Separating the reusable procedure from the current binding is the right cut. Question: when the local loop revokes an action because fresh state disagrees with the plan, what does the model get back, a diff of what changed or the whole new screen? Asking because that's the expensive part in every agent I've run.
PH 用户
What became possible in your product with Astra that was not practical before?
如果 computer-use 智能体的下一次进步来自更好的工具，而不是更大的模型，会怎样？
这就是这个项目背后的问题。我希望智能体把智能花在决策上——而不是反复重新发现同样的控件、发送冗余截图，或者等待本地系统本来就能给出的反馈。
Agent Interface 处在智能体和电脑之间。思路是把模型理解到的东西变成可复用的交互，把短的动作-反馈循环留在本地，只在情况需要重新判断时再回到模型。
屏幕变了，不该意味着从头再来。保留仍然成立的部分，检查变化了什么，再修复坏掉的部分。
桌面预览用一个具体工作流展示了这一点：识别一个表单，跨任务复用它的控件，在点击过时目标之前发现布局变化，然后修复并继续。有可运行的 demo 和带文档的 setup，而不只是一张架构图。目前测试过的 setup 使用 WSLg/X11、Chrome 和 Windows Codex bridge。
我也在 Freedoom 里测试 Astra，游戏在模型推理期间会继续运行。这是同一个问题的更难版本：当模型还在思考时，本地接口能处理哪些事情？通关 MAP01 仍然是一个研究目标。
这是一个早期的开源研究预览，面向正在构建 computer-use 智能体的开发者。代码、demo 和实验报告——包括失败案例——都公开。
目标很简单：更好地利用