Delta Lake 新闻邮件:2019-10-03 期(包括 SAIS EU 2019 会议)
作者:Denny Lee
本期 Delta Lake 新闻邮件将为您带来最新和即将举行的网络研讨会、聚会和出版物信息。本期我们还将重点介绍在阿姆斯特丹举行的 Spark+AI Summit EU 2019 上的众多会议。请将本新闻邮件分享给任何希望了解 Delta Lake 的人!
出版物
随着 Delta Lake 0.4.0 的发布,我们还发布了博客文章 使用 Python API 在 Delta Lake 表上进行简单可靠的更新和删除操作。此版本的一个关键特性是 Python API——查看博客以了解如何几分钟内开始使用 Delta Lake!
- 深入了解 Delta Lake:Schema 强制执行与演进:通过这篇深入了解 Delta Lake 的博客,了解 Schema 强制执行和 Schema 演进如何工作的详细信息。这是热门文章 深入了解 Delta Lake:解密事务日志 的后续。
- 使用结构化流、Delta Lake 和 Databricks 实现品牌安全:为了确保公司在投放广告时的品牌安全,Eyeview 使用 Delta Lake 来支持其流式和批处理场景,同时解决了资源利用不足和并发读取等问题。
- 使用 Apache Spark™、Delta Lake 和 MLflow 工程化人群规模的全基因组关联研究:为了使用 Apache Spark 进行人群规模的全基因组关联研究,支持流式和批处理 ACID 事务的底层存储结构是 Delta Lake。
- 使用 Apache Spark™ 扩展生物信息学方法:将 SAIGE 并行化到数百个核心:为了将 SAIGE 等全基因组关联研究工作流并行化到数百个核心,新的 Pipe Transformer 工具将命令行工具与 Apache Spark 和 Delta Lake 集成。
- 使用 Delta Lake、Keras 和 MLflow 通过机器学习监控医疗设备数据:这是关于 使用数据科学自动监控医疗设备数据 网络研讨会的后续,您可以学习如何使用结构化流和 Delta Lake 构建用于 EKG 数据的流式管道。
- 使用 Delta Lake 将机器学习投入生产:了解数据科学家如何通过使用 Delta Lake 和 MLflow 的可靠数据将他们的机器学习工作流投入生产。
网络研讨会
我们最近的网络研讨会是 Tathagata Das 关于他的富有洞察力的会议 使用 Delta Lake 和结构化流构建数据管道。以前的网络研讨会包含许多有关 Delta Lake 的精彩信息,包括:
- 使用 Delta Lake 简化和扩展数据工程管道
- Delta 架构,超越 Lambda 架构的一步
- 使用 Delta Lake 改进 Apache Spark™
- 为数据科学准备数据
- Delta Lake - 数据湖的开源可靠性
- 使用 Delta Lake 和 Apache Spark™ 简化流式分析
Spark+AI Summit Delta Lake 会议
在阿姆斯特丹举行的 Spark+AI Summit EU 2019 上,有许多精彩的 Delta Lake 会议!
- 使用 Delta Lake 训练会话为 Apache Spark™ 构建数据管道
- Michael Armbrust 和 Brooke Wenig 的开源生态系统新进展:Apache Spark 3.0、Delta Lake 和 Koalas 主题演讲
- 有问必答 (AMA):Delta Lake
- 使用 Delta Lake 大规模构建可靠的数据湖(教程)
- 使用 Delta Lake、Spark 和 Databricks 构建 AI 驱动的零售体验
- 使用 Delta Lake 简化和扩展数据工程管道
- 使用 Spark 结构化流、Delta Lake 和 MLflow 为 Asurion 的互联家庭平台提供支持
- 拍字节、艾字节及更高:管理 Delta Lake 以实现大规模交互式查询
- 通过流式事务变更强化您的 Delta Lake
- 在 Databricks 上使用 Apache Spark、Delta Lake 和 MLflow 实现大规模驾驶员位置智能
- 使用结构化流和 Delta Lake 设计 ETL 管道——如何正确架构
- 在 Delta Lake 之上构建数据密集型分析应用程序
- 数据可重现性、审计、即时回滚以及 Delta Lake 时间旅行的其他应用
- 使用 Apache Spark 和 Delta Lake 实现近实时数据仓库
欢迎加入我们,参加这些及其他精彩会议和有趣的活动!使用代码“Denny20”可享受 20% 的折扣!
聚会和活动
上周,我们在华盛顿州西雅图(美国)举行了一场精彩的 Delta Lake 会议,Michael Armbrust 在 Delta Lake:使用 Apache Spark™ 为数据湖提供开源可靠性 上发表演讲。
图为 Michael Armbrust 谈论 Delta Lake,以及 Judy Nash(Salesforce Bellevue 办公室活动组织者)和 Michael 与 Apache Spark 蛋糕合影!过去一个月,我们举办了以下精彩聚会:
- 2019-08-22:Mahdi Askari 在澳大利亚墨尔本展示使用 Delta Lake 改进 Apache Spark™。
- 2019-08-27:(额外)Denny Lee 在美国西雅图展示使用 MLflow 和 Koalas 简化机器学习生命周期
- 2019-09-03:Daniel Arrizza 在加拿大蒙特利尔展示使用 Delta Lake 改进 Apache Spark™
- 2019-09-04:Tathagata Das 在美国波特兰展示使用 Apache Spark 使数据湖更可靠
- 2019-09-05:Mladen Kovacevic 在加拿大多伦多展示使用 Delta Lake 改进 Apache Spark™。
- 2019-09-05:Quentin Ambard 在法国巴黎展示Delta Lake:为您的数据湖带来数据可靠性和性能。
- 2019-09-12:Sajith Appukuttan 在加拿大温哥华展示Delta Lake:Apache Spark™ 的开源可靠性。另外,Bilal Obeidat 介绍 Databricks 上的客户(剩余)生命周期价值 CLV。
- 2019-09-18:Boudewijn Braams 在英格兰伦敦展示Parquet 优化和构建 Spark 数据管道。
- 2019-09-19:来自 Antares 的 Reza Soltani Rezvandeh 展示使用 Delta Lake 改进 Apache Spark™
- 2019-09-24:Vincent Jolivet 在葡萄牙里斯本展示Delta Lake:使用 Apache Spark™ 为数据湖提供开源可靠性
- 2019-09-26:Xiao Li 在中国杭州展示开源生态系统新进展:Apache Spark 3.0、Koalas、Delta Lake。
十月份,还有以下 Delta Lake 聚会:
- 2019-10-03:Daniel Arriza 在加拿大多伦多展示使用 Delta Lake、Koalas 和 MLflow 将机器学习投入生产
- 2019-10-08:Daniel Arriza 在加拿大蒙特利尔展示使用 Delta Lake 改进 Apache Spark™
- 2019-10-17:Xiao Li 在上海 QCon(2019/10/17-2019/10/19)上展示Delta Lake:使用 Apache Spark™ 为数据湖提供开源可靠性
- 2019-10-24:[额外会议]:Matei Zaharia 在加拿大多伦多展示使用 MLflow 简化生产机器学习。
我们还在计划更多的聚会——如果您有兴趣主持或举办一个,请联系我们!如果您对如何举办聚会有任何疑问,请随时通过 Delta Lake Slack #events 频道与我们联系。
如果您有任何问题或反馈,请随时通过 #deltalake-oss Slack 频道提供反馈。立即加入 Delta Lake 频道(注册 | 登录)并加入 Delta 用户邮件分发列表!
谢谢!
Denny Lee,开发者倡导者