Anthropic发布高效AI agent构建指南,降低token成本
Anthropic 刚刚又发布了一篇重磅指南。
这篇是关于构建更高效的 agent,以处理更多工具并高效使用 token。
这是 AI 开发者的必读之作!
(收藏它)
它帮助解决 AI agent 工具调用中的三个主要问题:token 成本、延迟和工具组合。
怎么做?它将代码执行与 MCP 结合,把 MCP 服务器转化为代码 API 而非直接工具调用。
以下是您需要了解的全部内容:
1. Token 效率问题:提前加载所有 MCP 工具定义并通过上下文窗口传递中间结果会产生巨大的 token 开销,对于复杂的多工具工作流有时超过 150,000 token。
2. 代码即 API 方法:不采用直接工具调用,而是将 MCP 服务器作为代码 API(例如 TypeScript 模块)呈现,agent 可以导入并以编程方式调用,将示例工作流从 150k 降至 2k token(节省 98.7%)。
3. 渐进式工具发现:使用文件系统探索或 search_tools 函数,仅加载当前任务所需的工具定义,而不是预先将所有内容加载到上下文中。这解决了许多上下文腐烂和 token 过载问题。
4. 环境内数据处理:在代码执行环境中过滤、转换和聚合数据,然后再将结果传递给模型。例如,将 10,000 行电子表格过滤到仅 5 行相关数据。
5. 更好的控制流:使用原生代码构造实现循环、条件判断和错误处理,而不是通过 agent 链接单个工具调用,从而减少延迟和 token 消耗。
6. 隐私:敏感数据可以在不进入模型上下文的情况下流经工作流;只有显式记录/返回的值是可见的,并支持可选的自动 PII 标记化。
7. 状态持久化:Agent 可以将中间结果保存到文件并稍后恢复工作,从而实现长时间运行的任务和增量进度跟踪。
8. 可复用技能:Agent 可以将工作代码保存为可复用的函数(附带 SKILL .MD 文档),随着时间的推移构建更高级能力的库。
这种方法很复杂,并不完美,但它应该能全面提升您的 AI agent 的效率和准确性。
anthropic. com/engineering/code-execution-with-mcp
这篇是关于构建更高效的 agent,以处理更多工具并高效使用 token。
这是 AI 开发者的必读之作!
(收藏它)
它帮助解决 AI agent 工具调用中的三个主要问题:token 成本、延迟和工具组合。
怎么做?它将代码执行与 MCP 结合,把 MCP 服务器转化为代码 API 而非直接工具调用。
以下是您需要了解的全部内容:
1. Token 效率问题:提前加载所有 MCP 工具定义并通过上下文窗口传递中间结果会产生巨大的 token 开销,对于复杂的多工具工作流有时超过 150,000 token。
2. 代码即 API 方法:不采用直接工具调用,而是将 MCP 服务器作为代码 API(例如 TypeScript 模块)呈现,agent 可以导入并以编程方式调用,将示例工作流从 150k 降至 2k token(节省 98.7%)。
3. 渐进式工具发现:使用文件系统探索或 search_tools 函数,仅加载当前任务所需的工具定义,而不是预先将所有内容加载到上下文中。这解决了许多上下文腐烂和 token 过载问题。
4. 环境内数据处理:在代码执行环境中过滤、转换和聚合数据,然后再将结果传递给模型。例如,将 10,000 行电子表格过滤到仅 5 行相关数据。
5. 更好的控制流:使用原生代码构造实现循环、条件判断和错误处理,而不是通过 agent 链接单个工具调用,从而减少延迟和 token 消耗。
6. 隐私:敏感数据可以在不进入模型上下文的情况下流经工作流;只有显式记录/返回的值是可见的,并支持可选的自动 PII 标记化。
7. 状态持久化:Agent 可以将中间结果保存到文件并稍后恢复工作,从而实现长时间运行的任务和增量进度跟踪。
8. 可复用技能:Agent 可以将工作代码保存为可复用的函数(附带 SKILL .MD 文档),随着时间的推移构建更高级能力的库。
这种方法很复杂,并不完美,但它应该能全面提升您的 AI agent 的效率和准确性。
anthropic. com/engineering/code-execution-with-mcp