Delta Lake 0.6.0 发布

主要功能

我们很高兴地宣布 Delta Lake 0.6.0 发布，此版本引入了 schema evolution、合并操作的性能改进以及表历史中的操作指标。此版本的主要功能包括：

• 支持合并操作中的 schema evolution (#170) - 现在，您可以自动演进表的 schema 与合并操作。这在您希望将更改数据 upsert 到表中，并且数据 schema 随时间变化的情况下非常有用。合并操作可以同时演进 schema 并 upsert 更改，而无需在 upsert 之前检测和应用 schema 更改。有关详细信息，请参阅文档。
• 通过自动重新分区改进合并性能 (#349) - 在合并到分区表时，您可以选择在写入表之前按分区列自动重新分区数据。在分区表的合并操作由于生成太多小文件而变慢的情况下 (#345)，启用自动重新分区可以提高性能。有关详细信息，请参阅文档。
• 在没有插入子句时改进性能 (#342) - 如果合并操作不包含任何插入子句，您现在可以获得更好的性能。
• DESCRIBE HISTORY 中的操作指标 (#312) - 您现在可以在表历史中查看 Delta 表上所有写入、更新和删除操作的操作指标（例如，更改的文件和行数）。有关详细信息，请参阅文档。
• 支持从任何文件系统读取 Delta 表 (#347) - 您现在可以在任何具有 Hadoop FileSystem 实现的存储系统上读取 Delta 表。但是，写入 Delta 表仍然需要配置一个 LogStore 实现，该实现能够为存储系统提供必要的保证。有关详细信息，请参阅文档。

致谢

Ali Afroozeh, Andrew Fogarty, Anurag870, Burak Yavuz, Erik LaBianca, Gengliang Wang, IonutBoicuAms, Jakub Orłowski, Jose Torres, KevinKarlBob, Michael Armbrust, Pranav Anand, Rahul Govind, Rahul Mahadev, Shixiong Zhu, Steve Suh, Tathagata Das, Timothy Zhang, Tom van Bussel, Wesley Hoffman, Xiao Li, chet, Eugene Koifman, Herman van Hovell, hongdd, lswyyy, lys0716, Mahmoud Mahdi, Maryann Xue

感谢您的贡献。

访问发行说明以了解有关此版本的更多信息。