SPARK启动历史任务查看
SPARK历史任务查看需要一下配置:
在吕梁等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都做网站、网站设计 网站设计制作定制设计,公司网站建设,企业网站建设,品牌网站设计,成都全网营销,成都外贸网站建设公司,吕梁网站建设费用合理。
修改spark-defaults.conf配置文件
spark.eventLog.enabled true
spark.eventLog.dir hdfs://192.168.9.110:9000/eventLogs
spark.eventLog.compress true
修改spark-env.sh配置文件
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"
以上两个配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs来存储历史任务的日志信息.所以需要提前在hdfs中新建这两个目录 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs
进入hadoop的bin目录 命令 : cd /data/server/hadoop-2.6.0/bin
新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs
新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs
重启spark集群
启动历史任务进程
sbin/start-history-server.sh
历史任务进程启动验证
执行jps命令,出现HistoryServer进程
查看历史任务Web UI
http://192.168.9.110:18080/
本文标题:SPARK启动历史任务查看
URL分享:http://azwzsj.com/article/ghohdp.html