在沙箱外跑 agent harness 极省内存:每会话约 0.8MB
RT @NathanFlurry:在沙箱外运行 harness 成本极低!
例如,Rivet Actors 上的 Pi 每个活跃会话仅占用约 0.8 MB 内存
+ 数十毫秒内即可启动
+ 空闲时自动休眠
~~~
怎么做到的?
在沙箱中运行 agent 时,你要为每个会话承担一整个 Node.js 进程的开销
通常每个 agent 会话就要几百 MB,而且启动还得花好几秒
而当你在自己的后端里运行 harness 时,单个进程就能跑数百个 agent
也就是说,Node.js 的固定开销(那几百 MB)你已经只付过一次
而每个新的 agent 会话,不过是内存里的几个 JS 对象
~~~
看这张图,基础 Node.js 进程 + 导入的库有 223 MB 的基线,但每个新会话只占 0.82 MB
当然,这很大程度上取决于你在内存里保留多少会话内容。真实场景的数字会更高,但不会高太多,因为文本本身并不怎么占内存。
基准测试:https://t.co/AjNWcDvqec
~~~
在安全方面,agent 无法访问它所运行的主机
取而代之的是,它获得了一些可以按需与外部沙箱通信的工具
更多做法见这里:https://t.co/AEnHx0ywwZ
例如,Rivet Actors 上的 Pi 每个活跃会话仅占用约 0.8 MB 内存
+ 数十毫秒内即可启动
+ 空闲时自动休眠
~~~
怎么做到的?
在沙箱中运行 agent 时,你要为每个会话承担一整个 Node.js 进程的开销
通常每个 agent 会话就要几百 MB,而且启动还得花好几秒
而当你在自己的后端里运行 harness 时,单个进程就能跑数百个 agent
也就是说,Node.js 的固定开销(那几百 MB)你已经只付过一次
而每个新的 agent 会话,不过是内存里的几个 JS 对象
~~~
看这张图,基础 Node.js 进程 + 导入的库有 223 MB 的基线,但每个新会话只占 0.82 MB
当然,这很大程度上取决于你在内存里保留多少会话内容。真实场景的数字会更高,但不会高太多,因为文本本身并不怎么占内存。
基准测试:https://t.co/AjNWcDvqec
~~~
在安全方面,agent 无法访问它所运行的主机
取而代之的是,它获得了一些可以按需与外部沙箱通信的工具
更多做法见这里:https://t.co/AEnHx0ywwZ