欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Hadoop编译(Maven)

时间:2023-06-22
1、环境准备

根据Hadoop源码中的BUILDING.txt文件中的不同平台编译要求,安装编译所需要工具。

Linux系统一般包括:

#版本根据Hadoop版本要求安装JDK tar包解压安装Maven tar包解压安装apache ant tar包解压安装yum install glibc-headersyum install gcc-c++yum install makeyum install cmakeProtobuf tar包解压安装(第5步注释掉后可以不安装)

2、编译所有模块

#编译mvn clean compile -Pdist,native -DskipTests

#打包mvn clean package -Pdist,native -DskipTests -Dtar

3、部分模块编译

假设我们只需要编译打包hadoop-commom和hadoop-hdfs这两个module,可以使用如下命令:

mvn -e clean package -Pdist,native -DskipTests -Dmaven.javadoc.skip=true -Dtar -pl hadoop-common-project/,hadoop-hdfs-project/

如果我们想同时编译这两个module所依赖的模块,可以在最后加上-am参数。

mvn -e clean package -Pdist,native -DskipTests -Dmaven.javadoc.skip=true -Dtar -pl hadoop-common-project/,had

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。