Databricks AI Search 可直接索引 Streaming Tables 与 Iceberg 托管表
AI Search 省掉了中间的 Delta 表和同步管道，流式表、物化视图、Iceberg 开放格式数据都能直接建检索索引，索引随数据实时更新。
Databricks 的 AI Search（为应用提供检索索引的服务）现在可直接以 Streaming Tables（只追加、持续写入新数据的表）、Materialized Views（随底层数据增量维护的物化视图）和 Iceberg 托管表作为索引源，无需再另建一张 Delta 表并维护同步管道；源数据一更新，变化就会直接写入索引。
正文摘录
作者:Yu-Ju Huang、Ankit Vij、Vadim Antonov 和 Dima Kotlyarov AI Search 现在除 Delta tables 之外,还原生支持 Streaming Tables(流式表,只追加写入、新数据持续流入的表)、Materialized Views(物化视图,预计算结果随源数据增量维护)以及使用 Iceberg v3+ 的 Managed tables(托管表)。你可以把实时事件、持续维护的个性化状态以及开放格式数据直接带入 AI Search 应用 —— 从而减少构建和管理额外管道的开销,不必再为这些数据源单独做格式转换与同步。 Streaming Tables、Materialized Views 和 Managed Iceberg 各自代表一种不同的数据使用方式,也各自为 AI 应用打开了新的可能性。 持续变化的数据,比如新上架的房源/商品、库存、可售状态和用户活动,可以流入 append-only 的 Streaming Table;AI Search 会在新记录到达时为其建立索引,并保持搜索索引最新。这种新鲜度让"最新数据能直接塑造搜索体验"的应用成为可能:帮助用户通过搜索框发现刚刚可预订的餐厅,或基于近期趋势生成实时推荐。 Materialized Views 可以聚合事件、过滤记录,并 join 多个来源的数据来构建定制化状态。当底层数据变化时,视图会增量维护,AI Search 再把这些变更传播到索引,从而支撑个性化搜索体验,例如感知会话(session-aware)的推荐、基于近期活动的商品与内容发现,或根据用户不断变化的兴趣与偏好定制结果。