欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

数据湖之Hudi(1):Hudi介绍

时间:2023-05-01

目录

0、相关文章链接

1、什么是Hudi

2、Hudi在大数据中的位置

3、Hudi的特性

4、Hudi各版本发布时间


0、相关文章链接

大数据基础知识点 文章汇总

1、什么是Hudi

        Apache Hudi(发音“hoodie”)是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表,事务,高效upserts /删除,高级索引,流式摄取服务,数据群集/压缩优化以及并发,同时保持数据以开源文件格式保留。

        Apache Hudi不仅用于流媒体工作负载,还允许创建有效的增量批量流水线。包括 Uber, Amazon, ByteDance, Robinhood等以及更多的公司都在使用Hudi改造他们的生产数据湖泊。

        Apache Hudi可以轻松使用在任何云存储平台上。Hudi的高级性能优化,使用任何流行的查询引擎进行分析工作负载,包括Apache Spark,Flink,Presto,Trino,Hive等。

2、Hudi在大数据中的位置

Hudi将流处理引入大数据, 提供新鲜数据,同时比传统批处理效率高一个数据量级。

3、Hudi的特性 快速upsert,可插入索引以原子方式操作数据并具有回滚功能写入器之和查询之间的快照隔离savepoint用户数据恢复的保存点管理文件大小,使用统计数据布局异步压缩行列数据具有时间线来追踪元数据血统通过聚类优化数据集

4、Hudi各版本发布时间

github官网地址:Tags · apache/hudi · GitHub

Hudi各历史版本下载地址和特性说明:Download | Apache Hudi 


注:Hudi系列博文为通过对Hudi官网学习记录所写,其中有加入个人理解,如有不足,请各位读者谅解☺☺☺

注:其他相关文章链接由此进(包括Hudi在内的各大数据相关博文) -> 大数据基础知识点 文章汇总


Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。