在 Databricks 上扩展与运营大型 dbt 项目：IFCO 数据团队谈性能、可见性与调试

IFCO 数据平台团队联合 Databricks Forward Deployed Engineering，将转换逻辑保留在 dbt 中并运行于 Databricks，通过调优增量设置与 Delta Lake 写入行为优化数据管道。核心语义层作业的每日运行时间缩短超过 60%，并停用了高成本的夜间全量刷新。该方案应对每日数十亿追踪事件、延迟数周至数月到达的数据及历史对账难题。