Databricks Lakeflow Designer 秋季更新：新增多个无代码算子
Databricks 为 Lakeflow Designer 补上无代码清洗、去重和质量校验算子，让不懂代码的分析师也能独立搭建数据准备流程。
Databricks 介绍 Lakeflow Designer 今秋上线的一批更新：新增 Prepare、Unique、Guardrails 三个无代码算子，分别用于数据清洗与标准化、去重、数据质量校验，同时扩展 Join、Select、Filter 等已有算子的分支输出与参数能力，并增加输出选项。
正文摘录
了解今年秋季即将登陆你的 workspace 的 Lakeflow Designer 最新创新 作者:Jason Messer、Emanuel Zgraggen、V Maharajh、Kyrylo Bakumenko、Xiao Yan 和 Matt Jones 我们在 6 月将 Lakeflow Designer 正式推向 GA(General Availability,正式可用),此后已有 3,000 多家客户用它解决了数据工作中最大的瓶颈之一:技术门槛。从传统自助式数据准备工具迁移过来的团队,借此统一了治理、简化了数据栈、加快了走向生产的速度,并大幅削减了成本。由于采用按用量计费、没有按用户收取的许可费,我们看到许多客户在采用 Lakeflow Designer 后,把无代码工具上的开销降低了 90%。 与这些客户的紧密合作,帮助我们找到了让 Designer 更好用的方向。我们的最新更新带来了新的无代码算子(operator)、对现有算子的增强、更多输出选项,以及一个用于构建和管理更大型工作流的改进版画布。 Lakeflow Designer 直接构建在 Databricks 之上,是一个面向数据准备与分析的可视化、无代码、AI 原生体验。它让分析师、业务领域专家以及其他技术背景较浅的用户,通过拖拽式画布和自然语言来准备和探索数据。 以下是过去 4 个月我们对 Lakeflow Designer 所做的一些最受欢迎的增强。 Genie Code、Python 和 SQL 算子一直让 Designer 保持灵活。但早期客户反馈说,他们希望有更多无代码方式来处理去重、数据清洗和数据质量检查这类常见任务。 Prepare 算子:清洗并标准化数据 用 Prepare 算子清洗并标准化数据。文本大小写转换、数据类型转换、值替换、应用公式等等,全部在一个算子内完成。