Freu AI
Freu AI 是一款 Mac 上的 AI 智能体,通过自然语言自动化桌面应用工作流,零重复运行成本。
Maker 说
Hi Product Hunt! 👋 我是 Charles,Freu AI 的创始人。
之前我们透露过,正在把浏览器自动化技术扩展到整个操作系统。今天,我们正式发布 Freu AI for Mac——一个能用自然语言自动操控你系统上任何桌面软件的 AI 智能体。
痛点:视觉智能体太贵,RPA 太脆弱
我们在当前的 GUI 自动化上撞了一堵大墙。传统 RPA(AppleScript、死板的 X/Y 坐标点击)一调整窗口大小或者应用更新了 UI 就崩。另一边,现代多模态智能体(把截图发给云端 LLM)对于重复性任务扩展性极差。
现在,大多数桌面智能体像翻译器一样工作。每次你让它“从这个本地 PDF 提取数据并填入 Excel”,它都会截个图、发到云端、分析视觉布局、然后点击。
传统成本:~10k tokens(图片上下文)× 5 步 × 每天 10 次运行 = 每天约 500k tokens,就为了在同一个桌面 UI 上导航,更别提让人抓狂的延迟了。
解决方案:AOT 编译 + 语义 UI(SUI)
Freu AI 通过引入面向操作系统级任务的提前编译(AOT)改变了这一切。智能体不再每次都从头分析屏幕,你只需向它演示一次跨应用工作流。
Freu AI 使用一个云端视觉模型将该会话“编译”成确定的、可复用的 DSL。
Freu 成本:你只在智能体观察和学习你的工作流时支付一次云端“AI 推理”token 成本。但后续运行呢?智能体直接在本地调用预编译的 DSL 命令。这样一来,重复执行成本降为零,延迟从几分钟缩短到几秒。
底层工作原理:
当你录制一个桌面工作流时,我们的引擎不仅仅是保存一个傻傻的宏。它使用语义 UI(SUI)理解屏幕:
感知:识别任意应用中的按钮、文本字段和图标。
解析:锚定 UI 的语义含义,而不是死板的坐标。如果 Spotify 移动了“播放”按钮,Freu AI 仍能找到它。
执行:将这些视觉锚点绑定到我们的 DSL 中并确定性地执行。
🎁 开源福利:
虽然 Mac 桌面应用是我们的核心产品,但我们今天开源了 freu-cli——基于 DOM 的浏览器自动化引擎。你可以把它接入自己的智能体,让它们瞬间获得网页任务的“肌肉记忆”。仓库地址:https://github.com/freu-ai/freu-cli
🔮 下一步:本地视觉执行引擎
我们正在不断升级技术栈。很快,我们将推出一个功能,让你使用一个轻量级、针对 SUI 优化的视觉模型在本地硬件上运行执行阶段。虽然初始的“学习”阶段我们仍会依赖强大的云端 LLM 来理解你的复杂意图,但即将到来的本地引擎意味着你的日常重复执行将完全不消耗任何 API token,并且让你的实时屏幕数据 100% 保持私密。
欢迎试用 Freu AI for Mac。很期待听到你们对我们 AOT 方式的反馈,或者你们目前如何处理重复的跨应用任务。我和我的联合创始人今天会全天在评论区回答大家的问题!🚀
祝好,团队