如何安装spark依赖yarn执行

这篇文章将为大家详细讲解有关如何安装spark依赖yarn执行，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

创新互联是一家集网站建设,新建企业网站建设,新建品牌网站建设,网站定制,新建网站建设报价,网络营销,网络优化,新建网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

由于之前安装hadoop版本是3.30 所以这里下载spark3

spark下载地址包含了对应hadoop3的jar包 http://archive.apache.org/dist/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz

完成之后解压 tar -zxvf spark-3.0.1-bin-hadoop3.2.tgz mv spark-3.0.1-bin-hadoop3.2 spark-3

修改hadoop配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发

修改hadoop配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发


     yarn.nodemanager.pmem-check-enabled
     false




     yarn.nodemanager.vmem-check-enabled
     false

修改配置文件 spark-env.sh

#jdk路径
export JAVA_HOME=/bigdata/jdk1.8.0_161
#yarn路径
YARN_CONF_DIR=/bigdata/hadoop-3.3.0/etc/hadoop
#历史服务配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop1:9000/directory 
-Dspark.history.retainedApplications=30"

修改 spark-defaults.conf

spark.eventLog.enabled          true
#hdfs地址  路径是先建好的  hdfs dfs -mkdir /directory
spark.eventLog.dir               hdfs://hadoop1:9000/directory
#历史服务的web地址
spark.yarn.historyServer.address=hadoop1:18080
spark.history.ui.port=18080
#jar包托管在hdfs中的地址
spark.yarn.jars hdfs://hadoop1:9000/hadoop/spark_jars/*

将spark整合hadoop3的jar包传到hdfs上

hdfs dfs -mkdir /hadoop
hdfs dfs -mkdir /hadoop/spark_jars
hdfs dfs -put /usr/local/spark-3/jars/* /hadoop/spark_jars

如何安装spark依赖yarn执行

启动历史服务 sbin/start-history-server.sh

访问ui没有问题后创建一个测试任务

/bigdata/spark/bin/spark-submit --class mapTest --master yarn --driver-memory 512m --executor-memory 512m --deploy-mode cluster /spark-demo.jar

如何安装spark依赖yarn执行

完成

关于“如何安装spark依赖yarn执行”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

网站栏目：如何安装spark依赖yarn执行
链接地址：http://azwzsj.com/article/jggdoc.html

如何安装spark依赖yarn执行

其他资讯