HADOOP的HA搭建-创新互联
进入到执行:/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml
站在用户的角度思考问题,与客户深入沟通,找到巴州网站设计与巴州网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站设计、做网站、企业官网、英文网站、手机端网站、网站推广、申请域名、网站空间、企业邮箱。业务覆盖巴州地区。[配置部分]
[hdfs-site.xml]
1.配置名称服务:dfs.nameservices
名称服务的逻辑名。
2.配置nameservice中每个namenode
dfs.ha.namenodes.[nameservice ID]
注意:目前的hadoop2.7.2最多只能配置2个namenode。
3.配置每个namede的rpc地址
4.配置每个namenode的webui地址
5.配置namenode的共享edit log目录
6.配置客户端容灾代理供应商类
供客户端用来检测那个是namenode是活页节点。
7.(可选的)配置HA防护方法名集合.
QJM防止脑裂发生,不存在两个active node。
可以配置sshfence或者shell脚本。
8.配置hdfs的文件系统
[core-site.xml]
9.配置JN的本地存放数据(edit log)的目录
2、把core-site.xml文件的客户机名改成如下再颁发给每个虚拟机:
3、然后回到hdfs-site.xml里面把
删掉。同样颁发给每个虚拟机
4、接下来启动jn进程即:hadoop-daemon.sh starat journalnode
(我是在s1、s7和s8上分别启动journalnode进程。我一共八台虚拟机)
5、将s1的hadoop目录下的 dfs拷贝到s8中。即执行:scp -r dfs ubuntu@s8:/home/ubuntu/hadoop
6、在开启一个namenode节点的情况下,登录:ssh s8的虚拟机上执行hdfs namenode -bootstrapStandby
7、再停止namenode节点,然后 在s1虚拟机上执行:hdfs namenode -initializeSharedEdits
8、分别在s1和s8上启动namenode即:执行hadoop-daemno.sh start namenode
9、最后启动所有的数据节点:hadoop-daemons.sh start datanode (hadoop-daemons.sh是启动所有的节点)
管理ha过程
1、手动完成状态切换:
hdfs haadmin -transitionToActive nn1
hdfs haadmin -transitionToStandbby nn1
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
文章题目:HADOOP的HA搭建-创新互联
分享网址:http://azwzsj.com/article/dpjcjo.html