linux启动spark命令,linux环境下,使用local模式启动spark时报找不到主类

阅读: 评论:0

linux启动spark命令,linux环境下,使用local模式启动spark时报找不到主类

linux启动spark命令,linux环境下,使用local模式启动spark时报找不到主类

报错信息是:Error: Could not find or load main class org.apache.spark.launcher.Main

spark环境说明:(SPARK_HOME环境变量中我尝试了自己编译的和网上下载的,都报同一个错误)

spark-2.1.0-bin-2.6.0-cdh5.7.0 这个包是从网上下载的,

spark-2.4.3-bin-hadoop-2.6.0-cdh5.7.0 这个是我自己编译源码的:

编译命令:(最后能编译成功)

./dev/make-distribution.sh --name hadoop-2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0

以下是我的环境变量配置信息:

export SPARK_HOME=/home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0

export PATH=$SPARK_HOME/bin:$PATH

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_201

export PATH=$JAVA_HOME/bin:$PATH

export MAVEN_HOME=/home/hadoop/app/apache-maven-3.6.1

export PATH=$MAVEN_HOME/bin:$PATH

export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

export PATH=$HADOOP_HOME/bin:$PATH

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0

export PATH=$HIVE_HOME/bin:$PATH

export SCALA_HOME=/home/hadoop/app/scala-2.11.8

export PATH=$SCALA_HOME/bin:$PATH

本文发布于:2024-02-03 00:18:34,感谢您对本站的认可!

本文链接:https://www.4u4v.net/it/170689071447411.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:找不到   时报   命令   模式   环境
留言与评论(共有 0 条评论)
   
验证码:

Copyright ©2019-2022 Comsenz Inc.Powered by ©

网站地图1 网站地图2 网站地图3 网站地图4 网站地图5 网站地图6 网站地图7 网站地图8 网站地图9 网站地图10 网站地图11 网站地图12 网站地图13 网站地图14 网站地图15 网站地图16 网站地图17 网站地图18 网站地图19 网站地图20 网站地图21 网站地图22/a> 网站地图23