欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

关于hiveonspark安装出现的问题。

时间:2023-06-24

问题:
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=
In order to set a constant number of reducers:
set mapreduce.job.reduces=
Failed to execute spark task, with exception ‘org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 3d0724eb-0a1c-496d-9af3-b06878549bdc)’
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask、Failed to create Spark client for Spark session 3d0724eb-0a1c-496d-9af3-b06878549bdc

网上查找的很多资料,总结有两种原因:一、要么配置出错了;二、要么是包不兼容;
我的是两种原因都有。
第一个原因:
配置问题:hadoop中的core-site文件配置的是9000端口,而我的hive/conf/hive-site.xml配置的是8020端口(端口不一致)。


改完之后还是出错。这次涉及到的第二个问题:兼容性问题。
我的hive安装包是从官网上下载了,hive和spark版本是绑定的。那么,怎么查看自己安装的hive自带支持spark哪个版本呢?hive/lib下面查看spark:
[xxx@hadoop102 lib]$ ls | grep spark
hive-spark-client-3.1.2.jar
spark-core_2.11-2.4.5.jar
spark-kvstore_2.11-2.4.5.jar
spark-launcher_2.11-2.4.5.jar
spark-network-common_2.11-2.4.5.jar
spark-network-shuffle_2.11-2.4.5.jar
spark-tags_2.11-2.4.5.jar
spark-unsafe_2.11-2.4.5.jar

发现我的hive自带支持spark版本为2.4.5。然后我安装的spark是3.0.0版本的,这两个版本是不兼容的。
解决方法:1、从官网下载无自带的hive码源,自己编译;2、从gitLab上下载别人编译好的。

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。