提交并执行spark的jar包流程及注意事项

  主要是介绍windows环境下提交并执行spark的jar包流程及注意事项，linux环境提交步骤类似且更直观；

  我是直接用idea打包，没有用maven。
项目根目录右键 -> Open Module Settings -> Artifacts -> 点击+号 -> JAR -> From modules with dependencies -> 在Main Class里面找到本次需要执行的主类 -> 点击OK

  到spark安装目录的bin目录下，cmd进入命令行，例如本地spark安装目录是D:softwaressparkspark-2.4.3-bin-hadoop2.7 打好的jar包放在D:workspacespark_workspaceSPARK_DemooutartifactsSPARK_Demo_jar目录下
注意打完包需要将jar包中meta-INF目录下的*.SF,.DSA,.RSA文件删除，即可。因为有些包有签名，导致执行时报错误: Invalid signature file digest for Manifest main attributes
在命令行直接输入:

spark-submit --class com.zero.scala.sparkCore.ReadAndWriteHdfs --master local D:\workspace\spark_workspace\SPARK_Demo\out\artifacts\SPARK_Demo_jar\SparkReadWriteHdfs.jar