欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

数据湖之Hudi(2):Hudi编译

时间:2023-06-18

目录

0、相关文章链接

1、Hudi源码包下载

2、基于CentOS7编译Hudi(默认Spark等组件版本)

3、基于windows编译Hudi(默认Spark等组件版本)

4、基于windows编译Hudi(选择Spark等组件版本)

5、基于CentOS7编译Hudi(选择Spark等组件版本)

6、基于windows编译Hudi报错解决方案

7、各Hudi编译后Jar包下载地址


0、相关文章链接

大数据基础知识点 文章汇总

1、Hudi源码包下载

        因为Hudi不像Hive、Hadoop等组件一样,解压安装即可使用;而是需要先下载源码,然后根据需要的Hudi版本以及各集成的组件(包括Spark等)版本进行编译;所以需要先下载Hudi的源码包,可以在github中下载,下载地址:GitHub - apache/hudi: Upserts, Deletes And Incremental Processing on Big Data.

2、基于CentOS7编译Hudi(默认Spark等组件版本)

需要在centos7中安装mavne,maven下载安装教程:Maven的下载安装和使用_yang_shibiao的博客-CSDN博客

可以修改CentOS7为国内镜像,修改教程:CentOS7 原生 yum 源修改为阿里 yum 源_yang_shibiao的博客-CSDN博客

上传对应的zip包,然后解压,解压后如下所示:

注:博主下载的是0.10.1版本,已对根目录进行重命名,并且因为博主已经进行编译,所以其中有packaging包

执行命令,进行编译,编译命令: mvn package -DskipTests

因为编译时会下载相关maven依赖包,所以可以根据上述maven下载安装博文中所示,配置国内镜像,提高下载速度,具体编译时间根据机器和网络来判断,一共会下载1.5G左右的jar包,博主经过多次编译,在maven仓库中无任何Jar包时一共编译了6小时,当所有Jar都有再次编译时,7分钟可以编译完成,编译完成后如下图所示:

3、基于windows编译Hudi(默认Spark等组件版本)

需要在windows中安装maven,并配置好相应的环境变量,可以参考maven下载安装教程:Maven的下载安装和使用_yang_shibiao的博客-CSDN博客

从github上下载对应的hudi包,然后解压该包,会生成如下图所示内容:

在上述目录下执行maven的编译命令: mvn package -DskipTests

前面30多个包能正常编译,会发现 hudi-integ-test包编译失败,如下图所示:

这是因为这是在windows环境中执行的,hudi-integ-test模块会执行linux环境下的 bash  脚本,从而执行失败,需要把这个模块注释掉,再次执行发现packaging/hudi-integ-test-bundle模块会引用hudi-integ-test这个模块的内容,于是两个test模块都注释掉,如下图所示:

再次执行编译脚本,运行成功,如下图所示: mvn package -DskipTests

4、基于windows编译Hudi(选择Spark等组件版本)

直接执行如下编译命令即可,可以选择对应的Spark版本和Scala版本等: mvn clean package -DskipTests -Dspark3 -Dscala-2.12  

5、基于CentOS7编译Hudi(选择Spark等组件版本)

直接执行如下编译命令即可,可以选择对应的Spark版本和Scala版本等: mvn clean package -DskipTests -Dspark3 -Dscala-2.12  

6、基于windows编译Hudi报错解决方案

如上第3节 基于windows编译Hudi(默认Spark等组件版本) 所示,是因为hudi-integ-test模块会执行linux环境中的bash脚本,需要把hudi-integ-test模块注释,再次执行发现packaging/hudi-integ-test-bundle模块会引用hudi-integ-test这个模块的内容,于是两个test模块都注释掉,这样就可以在windows中进行编译。

7、各Hudi编译后Jar包下载地址

待更新...


注:Hudi系列博文为通过对Hudi官网学习记录所写,其中有加入个人理解,如有不足,请各位读者谅解☺☺☺

注:其他相关文章链接由此进(包括Hudi在内的各大数据相关博文) -> 大数据基础知识点 文章汇总


Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。