hadoop集群高可用配置及问题(下)-创新互联

之前已经把hdfs高可用配置好了,接下来配置yarn的高可用

让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:主机域名、虚拟空间、营销软件、网站建设、江华网站维护、网站推广。

1.之前集群规划已提到要在bigdata1和bigdata2上配置resourcemanger服务,在yarn-site.xml中添加

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.ha.enabledtrueyarn.resourcemanager.cluster-idcluster-yarn1yarn.resourcemanager.ha.rm-idsrm1,rm2yarn.resourcemanager.hostname.rm1bigdata1yarn.resourcemanager.webapp.address.rm1bigdata1:8088yarn.resourcemanager.address.rm1bigdata1:8032yarn.resourcemanager.scheduler.address.rm1bigdata1:8030yarn.resourcemanager.resource-tracker.address.rm1bigdata1:8031yarn.resourcemanager.hostname.rm2bigdata2yarn.resourcemanager.webapp.address.rm2bigdata2:8088yarn.resourcemanager.address.rm2bigdata2:8032yarn.resourcemanager.scheduler.address.rm2bigdata2:8030yarn.resourcemanager.resource-tracker.address.rm2bigdata2:8031yarn.resourcemanager.zk-addressbigdata1:2181,bigdata2:2181,bigdata3:2181yarn.resourcemanager.recovery.enabledtrueyarn.resourcemanager.store.classorg.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStoreyarn.nodemanager.env-whitelistJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME	
	
	yarn.scheduler.minimum-allocation-mb512yarn.scheduler.maximum-allocation-mb4096yarn.nodemanager.resource.memory-mb4096yarn.nodemanager.pmem-check-enabledtrueyarn.nodemanager.vmem-check-enabledfalseyarn.log-aggregation-enabletrueyarn.log.server.urlhttp://bigdata1:19888/jobhistory/logsyarn.log-aggregation.retain-seconds604800

2.启动hdfs

3.启动yarn

在bigdata1上启动yarn

4.查看服务状态

5.web端查看yarn状态:********(ip地址):8088

到此,Hadoop高可用配置就完成了

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


文章标题:hadoop集群高可用配置及问题(下)-创新互联
本文地址:http://azwzsj.com/article/csegso.html