Databricks 发布 Feature Views 公开预览,统一特征构建与服务
Feature Views 通过单一特征定义自动生成训练与在线服务所需数据,消除离线-在线差异,大幅降低实时 ML 的工程复杂度。
ML 特征(模型输入变量)在离线训练和在线服务时容易因计算方式不同而出错。Databricks 的 Feature Views 让用户在笔记本中定义一次特征逻辑,平台自动处理历史回溯、实时计算与数据治理,统一训练和推理的特征值,支持批处理和流式数据,端到端延迟低至 200ms。
正文摘录
引入 Feature Views 一种更简单的托管方式,用于构建、服务和管理 ML 特征 作者:Nick Joung , Ian Ackerman 和 Julia Powell 在理想世界中,ML 特征只构建一次。但对许多团队来说,一个在 notebook 中能用的特征仍然会变成重复的逻辑、脆弱的 pipeline、一次性回填、在线存储的管线铺设以及治理开销。对于欺诈检测、个性化和推荐等实时用例,这种复杂性更难消化,因为模型依赖新鲜信号来做出准确预测。常见的挑战包括: - 特征在训练时和在线推断时计算不一致 - 重复编写离线、在线两套特征代码 - 缺少对时间点准确性(point-in-time accuracy)的内置支持 - 从实验到生产化的路径过于繁琐 - 缺乏统一的特征发现和治理 Databricks 很高兴地宣布 Feature Views 的公开预览 —— 这是一个直接在 Databricks 内部创建托管特征 pipeline 的框架。借助 Feature Views,您只需编写一次特征,平台即可处理从实验到实时服务的所有环节。 Feature View 是一个简单而强大的抽象层,覆盖完整的 ML 生命周期。数据科学家或 ML 工程师定义特征逻辑 —— 数据源、实体、时间序列列和计算方式。从这个单一定义出发,Databricks 的 Feature Store 会生成用于实验和训练的历史数据,且具有时间点准确性。当准备就绪时,用户可以物化该 Feature View,Databricks 会运行 pipeline 来计算特征数据,用于高效推理。 同一个特征定义同时支持批处理和流式数据源。实验和生产化对两种数据源来说是相同的。从批数据源切换到流式数据源只需几行代码。 以下是同一个特征视图定义,分别以流式和批式方式运行。