热门产品

Freu AI

Freu AI

Freu AI 是一款 Mac 上的 AI 智能体,通过自然语言自动化桌面应用工作流,零重复运行成本。

Maker 说

Hi Product Hunt! 👋 我是 Charles,Freu AI 的创始人。

之前我们透露过,正在把浏览器自动化技术扩展到整个操作系统。今天,我们正式发布 Freu AI for Mac——一个能用自然语言自动操控你系统上任何桌面软件的 AI 智能体。

痛点:视觉智能体太贵,RPA 太脆弱
我们在当前的 GUI 自动化上撞了一堵大墙。传统 RPA(AppleScript、死板的 X/Y 坐标点击)一调整窗口大小或者应用更新了 UI 就崩。另一边,现代多模态智能体(把截图发给云端 LLM)对于重复性任务扩展性极差。

现在,大多数桌面智能体像翻译器一样工作。每次你让它“从这个本地 PDF 提取数据并填入 Excel”,它都会截个图、发到云端、分析视觉布局、然后点击。

传统成本:~10k tokens(图片上下文)× 5 步 × 每天 10 次运行 = 每天约 500k tokens,就为了在同一个桌面 UI 上导航,更别提让人抓狂的延迟了。

解决方案:AOT 编译 + 语义 UI(SUI)
Freu AI 通过引入面向操作系统级任务的提前编译(AOT)改变了这一切。智能体不再每次都从头分析屏幕,你只需向它演示一次跨应用工作流。

Freu AI 使用一个云端视觉模型将该会话“编译”成确定的、可复用的 DSL。

Freu 成本:你只在智能体观察和学习你的工作流时支付一次云端“AI 推理”token 成本。但后续运行呢?智能体直接在本地调用预编译的 DSL 命令。这样一来,重复执行成本降为零,延迟从几分钟缩短到几秒。

底层工作原理:
当你录制一个桌面工作流时,我们的引擎不仅仅是保存一个傻傻的宏。它使用语义 UI(SUI)理解屏幕:

感知:识别任意应用中的按钮、文本字段和图标。

解析:锚定 UI 的语义含义,而不是死板的坐标。如果 Spotify 移动了“播放”按钮,Freu AI 仍能找到它。

执行:将这些视觉锚点绑定到我们的 DSL 中并确定性地执行。

🎁 开源福利:
虽然 Mac 桌面应用是我们的核心产品,但我们今天开源了 freu-cli——基于 DOM 的浏览器自动化引擎。你可以把它接入自己的智能体,让它们瞬间获得网页任务的“肌肉记忆”。仓库地址:https://github.com/freu-ai/freu-cli

🔮 下一步:本地视觉执行引擎
我们正在不断升级技术栈。很快,我们将推出一个功能,让你使用一个轻量级、针对 SUI 优化的视觉模型在本地硬件上运行执行阶段。虽然初始的“学习”阶段我们仍会依赖强大的云端 LLM 来理解你的复杂意图,但即将到来的本地引擎意味着你的日常重复执行将完全不消耗任何 API token,并且让你的实时屏幕数据 100% 保持私密。

欢迎试用 Freu AI for Mac。很期待听到你们对我们 AOT 方式的反馈,或者你们目前如何处理重复的跨应用任务。我和我的联合创始人今天会全天在评论区回答大家的问题!🚀

热门评论

PH 用户
快速问一下,如果工作流中间出问题了它能处理吗?比如突然弹出一个对话框,它是知道怎么恢复还是会直接卡死?
祝好,团队
PH 用户
嘿Charles,我看了Freu的页面,老实说,从AOT编译的角度来做OS级任务是我在这个领域读过的最有意思的框架。有一点想问:当视觉模型一次性捕捉了一个工作流后,你们怎么处理UI漂移,比如应用版本更新或按钮位置变了?是有一个重新录制的流程,还是内置了某种自愈机制?确定性DSL确实很棒,但一旦底层应用变了就不好办了。
PH 用户
恭喜发布!$0运行成本模型是个大胆的举动,我觉得这会引起很多共鸣。祝好运!🚀
PH 用户
确定性DSL这个角度吸引了我。我用过的大多数Mac自动化工具都依赖脆弱的坐标点击,只要UI稍微一变就会失效。先编译成结构化DSL再本地执行,感觉是恰到好处的抽象——好奇这个DSL怎么处理条件分支或等待异步UI状态。
PH 用户
目前它最适合哪种应用?是原生macOS应用,还是浏览器里的网页应用?
PH 用户
通过确定性DSL一次性编译工作流,并在运行时跳过LLM调用,这是一个聪明的权衡。我们在RetainSure正好遇到了这个问题:脆弱的选择器会在每次UI更新时失效,token成本也迅速累积。这种架构选择同时解决了这两个问题。freu-cli如何处理执行中的中断?如果弹出一个模态框,它是通过LLM重新规划,还是DSL内置了恢复逻辑?
热门产品Justin Jincaid2026-05-24原文

相关内容