Data+AI Summit Delta Lake 分会指南
作者：Carly Akerly
2024 年 6 月 10 日至 13 日，Data+AI Summit 将重返旧金山。Data+AI Summit 是一项全球性盛会，汇集了来自 160 多个国家的数千名数据从业者、领导者和远见者，共同探讨湖仓一体、开源、AI/ML 等领域的最新进展。在为这项盛事做准备之际，我们很高兴能重点介绍一系列 Delta Lake 分会。
Data+AI Summit 的日程安排精心策划了 500 多个分会，内容涵盖数据仓库、治理以及生成式 AI 的最新进展。从优化数据管道到使用 Rust 革新数据工程，再到应对多 PB 级数据迁移的复杂性，我们整理了一份您不容错过的 Delta Lake 分会列表。
Data+AI Summit Delta Lake 分会
数据架构和运营创新
探索 Delta Lake 促进的数据架构的基础性变化和进步。这些分会重点关注 Delta Lake 如何与其他系统集成、增强数据架构以及拓展数据运营的无限可能。
Delta Lake 是湖仓一体的统一存储层。加入我们，了解 Delta Lake 4.0（该项目的下一个主要版本）中新增的最新功能。
深入了解 Delta Lake 的世界，这是一个革命性的开源存储系统，专为 Spark 和非 Spark 分析而设计。本次分会将引导您了解 Delta Lake 的突出功能，例如 Liquid Clustering、UniForm、复杂的列操作以及时间旅行和模式演进的颠覆性功能。了解如何利用这些工具跨各种分析引擎（包括 Spark、Trino、Flink 和 Pandas）来增强互操作性和查询性能。
Delta Kernel：Delta Lake 连接器的剖析
在本次分会中，我们将讨论 Delta Kernel 项目，该项目简化了 Delta Lake 连接器的创建和维护。加入我们，了解如何创建连接器、您需要做出的架构和工程决策，以及 Delta Lake 社区如何使用它。
数据处理的扩展性和效率
了解使用 Delta Lake 有效扩展数据处理任务的策略和最佳实践。这些分会将深入探讨实际案例和高级技术，使组织能够无缝处理海量数据集。
获取 Adobe 扩展历程的深刻更新，了解其如何管理 8000 多个自管理的 Delta 表。探索使 Adobe Experience Platform 能够管理 PB 级客户数据、支持跨多个渠道的各种营销场景的策略和实践。本次分会将涵盖扩展挑战、与 JVM 无关的锁定、反模式等等。
了解全球旅游行业技术领导者 Amadeus 如何利用 Delta Lake 将各个业务部门的数据转换为高效、经济的星型模式。本次分会深入探讨了与 Databricks 合作取得的尖端优化和成功，重点关注如何利用 Predictive I/O 和 Photon 等创新功能克服读写放大挑战。
Zalando 将多 PB 级数据平台迁移到 Delta Lake
加入 Zalando 的旅程，了解其如何将其核心数据平台复杂地、全公司范围地迁移到 Delta Lake。本次分会涵盖了迁移多 PB 级数据平台期间遇到的技术和转型挑战，为考虑类似转型的组织提供了宝贵的见解和经验教训。
使用先进技术增强数据管理
深入了解 Delta Lake 和其他尖端技术在数据管理方面的最新进展。这些分会将展示创新的工具和方法，以优化数据摄取、流式传输和版本控制流程。
使用 AWS Lambda 和 Delta Lake 快速、廉价且轻松地摄取数据
探索 AWS Lambda 如何彻底改变您的数据摄取和处理工作流程。本次实践分会将演示如何将 AWS Lambda 与 Delta 表结合使用，以实现高效、事件驱动的数据管理。准备好在您的基于 AWS 的数据平台中解锁新的效率和灵活性水平。
使用 Delta Lake 和友好的工具实现有效的湖仓流式传输
了解如何在湖仓架构中实现可扩展、可靠的流数据系统的秘诀。本次分会将揭示流数据捕获、模式强制执行、数据质量和工作流编排的核心原则，展示 Delta Lake 在构建强大的数据生态系统中的重要作用。
了解如何通过集成 Delta Lake 和 lakeFS，使用类似 Git 的语义增强您的湖仓架构。本次演讲探讨了数据版本控制的革命性方法，从而改进了可审计性、回滚功能，并创建了经济、临时的开发和测试环境。
数据工程的新兴工具和语言
通过探索革新数据工程的最新工具和语言，保持领先地位。这些分会重点介绍 Delta Lake 新兴技术的创新方法和实际应用。
让我们用 Rust 和 Delta Lake 进行一些数据工程吧！
通过本次分会，深入了解数据工程的未来，介绍 Rust 在处理 Delta Lake 数据方面的能力。无论您是 Rust 新手还是希望扩展技能，本次演讲都将提供有价值的见解，帮助您创建高性能数据管道和应用程序，强调数据摄取、丰富和管理中的实际问题解决。
了解电子发现背景下管理半结构化通信数据的挑战和解决方案。本次分会展示了一种基于微服务的方法，利用 delta-rs、Arrow Flight 和 DataFusion 进行高效的数据存储、查询和分析，为工程师、架构师和法律专业人士提供了有价值的见解。
数据智能和战略
通过专注于使用 Databricks 中的 Delta Lake 的高级数据智能和战略方法的分会来增强您的数据战略。了解最新创新以及它们如何改变您的数据管理实践。
深入了解 Databricks 上的 Delta Lake 和 Uniform
本次分会是对 Delta Lake 的入门级深入探讨，Delta Lake 是尖端的开源存储层，通过确保可靠性、性能、治理和质量来彻底改变数据湖。本次分会将涵盖关键方面，例如 Delta Lake 的架构（旨在无缝处理批处理和流数据）及其与 Unity Catalog 的集成。了解 Delta Lake 在各个行业的广泛采用、探索实际用例并听取即将推出的激动人心的新功能。
使用 DatabricksIQ 为 Delta Lake 引入数据智能
DatabricksIQ 让您的 Delta Lake 表更快、更便宜、更易于使用。本次分会将深入探讨 Predictive Optimization 和 Liquid Clustering 等 AI 驱动的功能如何改变您的数据管理——使您的表不仅更快、更便宜，而且操作更简单。亲身发现用户如何利用这些工具自动化维护和调优，并抢先了解我们路线图中令人兴奋的新优化。
使用 Delta Lake UniForm 为开放数据湖提供可移植性
探索 Delta Lake UniForm 如何解决跨多个环境的数据湖中可靠性、性能和治理的挑战。本次分会将深入探讨 UniForm 背后的技术，通过现场演示展示其对数据湖可移植性和查询性能的影响。
通过引入新的提交协议，独家了解 Delta Lake 中事务的未来。本次分会将讨论实现多语句事务和通过托管提交增强数据治理的创新。
为什么参加 Data+AI Summit？
通过参加 Data+AI Summit，您不仅可以从 Delta Lake 分会中获得宝贵的见解，还可以有机会
- 了解 Delta Lake、AI、ML 和湖仓架构的最新进展。
- 与多元而充满活力的数据和 AI 专业人士社区建立联系。
- 在社交聚会、博览会现场或 Data+AI Summit 派对上拓展您的专业人脉。
- 向数据和 AI 领域的领先专家、研究人员和开源贡献者学习。
加入我们的 Data+AI Summit！
无论您是希望增强您的技术专业知识、建立新的专业关系，还是了解最新的行业趋势，Data+AI Summit 应有尽有。立即注册 Data+AI Summit，准备好获得启发、学习知识并与数据和 AI 社区的前沿建立联系。