hadoop如何实现datanode磁盘扩容

这篇文章将为大家详细讲解有关hadoop如何实现datanode磁盘扩容,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

成都网站建设、做网站介绍好的网站是理念、设计和技术的结合。创新互联拥有的网站设计理念、多方位的设计风格、经验丰富的设计团队。提供PC端+手机端网站建设,用营销思维进行网站设计、采用先进技术开源代码、注重用户体验与SEO基础,将技术与创意整合到网站之中,以契合客户的方式做到创意性的视觉化效果。

Ambari HDFS Alert DataNode 磁盘空间不够,DataNode 磁盘扩容支持热插拔,我们只需要将扩容磁盘配置到dfs.datanode.data.dir即可。

步骤:

注意:如果是ambari部署的hadoop集群,则必须从ambari界面更改,直接修改文件无效,重新启动添加的就没有了

  1. 修改 hdfs-site.xml 配置文件,添加新增的磁盘目录:用逗号分隔

    
      dfs.datanode.data.dir
      /hadoop/hdfs/data,/data/hadoop/hdfs
    

  2. 修改 yarn-site.xml 配置文件,添加新增的磁盘目录:

    
      yarn.nodemanager.local-dirs
      /hadoop/yarn/local,/data/hadoop/yarn/local
    
    
      yarn.nodemanager.log-dirs
      /hadoop/yarn/log,/data/hadoop/yarn/log
    

  3. 重启或刷新

    • 如果只为datanode新增磁盘,可不重启datanode,使用reconfig刷新配置即可

      # 开始刷新
      # $ hdfs dfsadmin -reconfig datanode [dfs.datanode.ipc.address] start
      $ hdfs dfsadmin -reconfig datanode 10.1.xxx.xxx:8010 start
      Started reconfiguration task on node [10.1.xxx.xxx:8010]
      
      # 查看刷新进度
      #$ hdfs dfsadmin -reconfig datanode [dfs.datanode.ipc.address] status
      $ hdfs dfsadmin -reconfig datanode 10.1.xxx.xxx:8010 status
      Reconfiguring status for node [10.1.xxx.xxx:8010]: started at Fri Aug 14 09:19:34 CST 2020 and finished at Fri Aug 14 09:19:34 CST 2020.

    • 如果是在ambari中修改,修改完后,按提示重启组件即可

    • 如果直接hadoop集群修改,配置同步到其它节点后重启datanode和nodemanager即可。

关于“hadoop如何实现datanode磁盘扩容”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。


分享标题:hadoop如何实现datanode磁盘扩容
当前URL:http://azwzsj.com/article/pccood.html