欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Spark-shell和Spark-submit

时间:2023-07-24

Spark支持多种集群管理器(Cluster Manager),取决于传递给SparkContext的MASTER环境变量的值:local、spark、yarn,区别如下:

一、Spark-shell

引入:之前我们使用提交任务都是使用spark-shell提交,spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下可以用scala编写spark程序,适合学习测试时使用!实例:spark-shell可以携带参数

spark-shell --master local[N] 数字N表示在本地模拟N个线程来运行当前任务spark-shell --master local[*] 表示使用当前机器上所有可用的资源默认不携带参数就是–master local[*]spark-shell --master spark://node01:7077,node02:7077 表示运行在集群上 二、spark-submit

引入:spark-shell交互式编程确实很方便我们进行学习测试,但是在实际中我们一般是使用IDEA开发Spark应用程序打成jar包交给Spark集群/YARN去执行,所以我们还得学习一个spark-submit命令用来帮我们提交jar包给spark集群/YARN。spark-submit命令是我们开发时常用的!!!

实例:

${SPARK_HOME}/bin/spark-submit --master local[2] ${SPARK_HOME}/examples/src/main/python/pi.py 10

${SPARK_HOME}/bin/spark-submit --master spark://node1.itcast.cn:7077 --conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" --conf "spark.pyspark.python=/root/anaconda3/bin/python3" ${SPARK_HOME}/examples/src/main/python/pi.py 10

${SPARK_HOME}/bin/spark-submit --master spark://node1.itcast.cn:7077,node2.itcast.cn:7077 --conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" --conf "spark.pyspark.python=/root/anaconda3/bin/python3" ${SPARK_HOME}/examples/src/main/python/pi.py 10

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。