Databricks 用真实应用压测 Lakebase Search:400 万条文本的容量经验
Databricks 用内部应用 Slide Hub 实测 Lakebase Postgres 的内置搜索扩展,给出 100 万到 400 万行下的性能、瓶颈和成本数据,帮开发者在上线前选对计算规格。
Slide Hub 是 Databricks 的内部应用,工程师用它从约 700 份内部演示里按语义和关键词检索单页幻灯片,并通过 MCP(模型上下文协议,让 AI agent 调用外部工具的接口)把这些搜索能力开放给 agent。它的幻灯片、投票、搜索遥测和变更历史都存在 Lakebase Postgres 里,我们用它作为基准来测这套数据库在真实负载下的表现。
正文摘录
Slide Hub 是 Databricks 内部的一个应用。现场工程师用它从大约 700 份内部演示文稿(活动演讲、产品 deck、架构 deck)里查找并复用幻灯片。一个搜索框可以按语义和关键词查找单张幻灯片,一个 Model Context Protocol (MCP) server 为 AI agent 提供同样的搜索能力。该应用把幻灯片、投票、搜索埋点和变更历史都存储在 Lakebase Postgres 中。我们用 Slide Hub 作为基准来测试 Lakebase Postgres 的表现。它是一个有真实用例、真实用户的真实应用,因此它跑出来的数字能反映数据库在真实负载下的行为。 本文面向在 Databricks 上构建应用、并希望在应用自带的 Lakebase Postgres 数据库内做搜索的开发者与架构师。前提是你了解 SQL 和 PostgreSQL 基础。如果你计划在 Lakebase Postgres 上做一个搜索框或 agent tool,下面的数字能帮你在上生产之前选好计算规格。 本文展示 Slide Hub 如何在 Lakebase Postgres 内运行搜索、它在负载下受什么制约、成本是多少,以及 Lakebase Search 在公开语料上从 1M 到 4M 行时的表现。 Lakebase Search 于 9 月正式可用。它是一组 Postgres 扩展,因此就运行在应用表旁边。应用不必把数据拷贝到独立的搜索系统,开发者也不用维护第二条事务路径。 两条 CREATE EXTENSION 语句即可启用各个组件。lakebasevector 存储 embedding(把一段文本的含义表示为数字向量),并支持 lakebaseann 索引做近似最近邻(ANN)搜索。