企业内运行 AI agent:从 AGENTS.md 到生产部署
把 agent 当作又一个企业应用来部署:沿用 PaaS 的合规与发布经验,难点在记忆持久化和就近部署的延迟。
主持Daniel Whitenack、Chris Benson
嘉宾Nick
话题脉络
- 2:57企业环境与家庭实验室差异
企业受高度监管,失误后果严重甚至 air gap;家庭实验室可随意试错,企业必须控制风险。
Nick - 5:42Tanzu 平台即服务定位
Tanzu 是面向私有云的 PaaS,可部署在裸金属或自有 VPC,帮企业统一应用部署与治理。
Nick - 6:57平台封装的运维能力
平台负责 ingress、证书、负载均衡、健康监控和应用沙箱,让开发者专注业务逻辑,而非折腾基础设施。
Nick - 10:53从 12-factor 到 AI Agent 部署
传统 PaaS 基于 12-factor app;AI agent 需让 agent、LLM 和工具贴近微服务,减少网络跳数。
Nick - 18:11演示转向本地模型与 GPU
过去演示 Java/Spring 应用打包成 JAR,现在 air-gapped 客户倾向本地跑模型;有无 GPU 决定体验和成本。
Nick - 20:53Agent 运行时与网关架构
架构含安全运行时、审批 LLM、网关工具和共享 memory service,逐步扩展 agent 能力。
Nick - 24:06MCP 网关与可观测性
工具注册绑定到特定 MCP gateway,agent 调用经网关流转,从而采集 tool calls 等指标。
Nick - 27:11AGENTS.md 与 Agent 角色定义
Agent 从 laptop 推到平台后,AGENTS.md 可定义角色,如监控 Jira 队列并审查工单质量。
Nick - 33:07企业采用应小步快跑
企业采用新技术较慢,应从 baby steps 开始分层叠加,不必一次引入全部能力,先取得简单成功再扩展。
Nick - 35:56组织协同与平台推广
大企业各业务单元目标不同,新平台团队需通过 office hours、午餐学习等方式主动推广,才能提升采用率。
Nick - 39:52开源 AI 供应链安全
Hugging Face 等开源模型和依赖链存在风险,企业需确保依赖栈、容器、OS 和平台持续打补丁且可靠。
Nick - 44:30Agent 未来展望
Agent 自动化会越来越快,但不必过度疯狂;从业者会非常忙,同时保持务实,享受快速演进的过程。
Nick
节目简介
本期 Practical AI 请到 Broadcom Tanzu 的 Nick,聊为什么企业里的 AI agent 部署其实和传统应用是同一件事:没有公网、要过 PCI、HIPAA 等合规、甚至物理气隙。Cloud Foundry 那套 PaaS 思路(push、bind、scale)同样适用,但 agent 用文件系统存记忆的做法,碰上临时实例就成新麻烦。