Legora CTO 谈在看不到数据的情况下构建法律 Agent
客户数据不可见时如何开发并评估法律 Agent:用模拟环境代替 trace,靠 evals 定位失败类型。
嘉宾Jacob Lauritzen
节目简介
Legora 的 agent 为律师工作时,团队看不到任何一条执行 trace——数据归律所客户所有。CTO Jacob Lauritzen 讲了怎么在这种情况下做测试:三名工程师加三名律师,按客户的真实工作搭建模拟环境(类似强化学习里的“world”;evals 让一次发版就把引用准确率从 70% 提到 99%),也谈到模型选型、按百万单元格计的 Tabular Review、在 Azure 上运行的原因,以及律师岗位和计费模式的变化。