The Linux Foundation Projects
Delta Lake

Delta Sharing 0.3.0 发布

作者:Lin Zhou

我们很高兴地宣布 Delta Sharing 0.3.0 发布,其中包含以下改进和问题修复:

改进

  • Delta Sharing 服务器支持 Azure Blob 存储和 Azure Data Lake Gen2 (#56, #59)
  • 当用户查询使用 limit 时,Apache Spark 连接器现在可以发送 limitHint 参数 (#55)
  • Python 连接器中的 load_as_pandas 现在接受 limit 参数,允许用户只获取几行进行探索 (#76)
  • Apache Spark 连接器将在预签名 URL 过期之前重新获取它们,以支持长时间运行的查询 (#69)
  • 添加了一个新的 API 来列出共享中的所有表,以节省网络往返次数 (#63, #66, #67, #88)
  • 向 Apache Spark 连接器和 Python 发送的请求中添加了 User-Agent 标头 (#75)
  • 为 Delta Sharing 配置文件格式添加了一个可选的 expirationTime 字段,以提供令牌过期时间 (#77)

Bug 修复

  • 修复了 Python 连接器中 list_all_tables 可能无法返回正确结果的特殊情况 (#84)

致谢

Denny Lee, Felix Cheung, Lin Zhou, Matei Zaharia, Shixiong Zhu, Will Girten, Xiaotong Sun, Yuhong Chen, kohei-tosshy, William Chau

请访问发布说明以了解有关此版本的更多信息。