Delta Lake 简报:2020-03-20 版
作者:Denny Lee
即将举行的活动
深入了解 Delta Lake:解析事务日志
2020 年 3 月 26 日
事务日志是理解 Delta Lake 的关键,因为它是许多最重要的功能(包括 ACID 事务、可扩展的元数据处理、时间旅行等)的共同主线。在本次会议中,我们将探讨 Delta Lake 事务日志是什么、它在文件级别如何工作,以及它如何为多个并发读写问题提供优雅的解决方案。\
深入了解 Delta Lake:强制执行和演进 Schema
2020 年 4 月 2 日
随着业务问题和需求随着时间的推移而演变,数据结构也会随之演变。使用 Delta Lake,随着数据的变化,合并新的维度变得很容易。用户可以访问简单的语义来控制表的 Schema。这些工具包括 Schema 强制执行,可防止用户意外地用错误或垃圾数据污染他们的表,以及 Schema 演进,使其能够在这些列属于时自动添加新的丰富数据列。在本次网络研讨会中,我们将深入探讨这些工具的使用。\
深入了解 Delta Lake:DML 内部机制
2020 年 4 月 16 日
在早期的 Delta Lake 内部机制网络研讨会系列中,我们描述了 Delta Lake 事务日志的工作原理。在本次会议中,我们将深入探讨在执行删除、更新、合并和结构化流式传输时,提交、快照隔离以及分区和文件如何变化。
之前的活动
从实践中汲取的机器学习经验教训:采访 Brooke Wenig
2020 年 3 月 18 日
我们对机器学习实践负责人 Brooke Wenig 进行了精彩的采访,讨论了在生产中开发、训练和部署机器学习算法时的最佳实践和模式。
我们还更新了之前的技术讲座,提供了新的实时演示和问答环节,现在都可按需观看。
- 2020 年 2 月 27 日 - 使用 Delta Lake 和 MLflow 为数据科学准备数据
- 2020 年 3 月 5 日 - 超越 Lambda:引入 Delta 架构
- 2020 年 3 月 12 日 - 使用 Delta Lake 简化和扩展数据工程管道\
Delta Lake 的诞生 - 采访 Burak Yavuz
2020 年 2 月 19 日
我们采访了 Burak Yavuz,了解了 Delta Lake 团队的决策过程以及他们为何设计、架构和实现了今天的架构。了解团队面临的技术挑战、这些挑战如何解决以及未来的计划。
技术讲座环节
鉴于当前的情况,我们没有举行通常的 Delta Lake 周四技术讲座环节,而是决定与 Vini Jaiswal、Chengyin Eng、Dhruv Kumar 和 Denny Lee 一起举办一个关于 COVID-19 数据集分析的环节。有关该环节的更多信息,请参阅背景资料和下面的链接,以按需观看该环节。
分析 COVID-19:数据社区能否提供帮助?
2020 年 3 月 19 日
谢谢
如果您有任何问题或反馈,请随时在 #deltalake-oss Slack 频道提供反馈。立即加入 Delta Lake 频道(注册 | 登录)并加入 Delta 用户电子邮件分发列表!
谢谢!Denny Lee,开发者倡导者