Delta Lake 博客

为什么 T-Mobile 数据科学与分析团队迁移到 Delta Lake 上的数据湖屋
作者:Robert Thompson,Geoff Freeman
在这篇文章中,我们将讨论我们如何以及为何从数据库和数据湖迁移到 Delta Lake 上的数据湖屋。我们的湖屋架构允许数据的无阻塞读写并线性扩展。业务合作伙伴可以轻松采用高级分析并获得新的见解。这些新见解促进了不同工作流之间的创新,并巩固了 T-Mobile 采取的分散式分析方法。

用于 Delta Lake 表的 Apache Flink 源连接器
作者:Krzysztof Chmielewski,Scott Sandre,Denny Lee
我们很高兴地宣布 Delta Connectors 0.5.0 版本发布,它引入了 Apache Flink™ 1.13 上的新 Flink/Delta 源连接器,该连接器可以使用 Flink 的 DataStream API 直接从 Delta 表读取数据。

Delta 2.0 - 您的数据湖屋的基础是开放的
我们很高兴地宣布 Apache Spark™ 3.2 上的 Delta Lake 2.0 发布!Delta Lake 2.0 的意义不仅仅是一个数字——尽管它与 Delta Lake 的 3 岁生日恰好同步。它重申了我们对 Delta Lake 开源的集体承诺,正如 Michael Armbrust 在 2022 年 Data + AI Summit 上的第一天主题演讲中所宣布的那样。

S3 中 Delta Lake 存储的多集群写入
作者:Scott Sandre,Denny Lee,Mariusz Kryński
虽然 Delta Lake 从一开始就支持来自多个集群的并发读取,但在 Amazon S3 的多集群写入方面存在限制。请注意,这对于 Azure ADLSgen2 和 Google GCS 来说不是限制,因为 S3 目前缺乏“put-If-Absent”一致性保证。因此,为了保证 S3 上的 ACID 事务,需要有来自同一个 Apache Spark™ 驱动程序的并发写入。这是社区要求最多的问题之一,我们很高兴地宣布 Delta Lake 1.2(发行说明、博客)现在支持从多个集群向 S3 写入数据,同时保持写入的事务性。

Delta Lake 1.2 - 更快的速度、更高的效率和更强的可扩展性
作者:Venki Korukanti,Scott Sandre,Tathagata Das,Allison Portis,Denny Lee,Vini Jaiswal
引入性能优化,将以任何规模大幅提升您的数据管道。

从 Apache Flink 写入 Delta Lake
作者:Fabian Paul,Pawel Kubit,Scott Sandre,Tathagata Das,Denny Lee
了解有关如何从 Apache Flink 写入 Delta Lake、开源项目 Delta Sharing 的最新版本以及它如何实现 Google Cloud Storage 上的共享以及其他增强功能的更多信息。

将 Delta Sharing 扩展到 Google Cloud Storage
了解有关开源项目 Delta Sharing 最新版本以及它如何实现 Google Cloud Storage 上的共享以及其他增强功能的更多信息。