阿坝州网站建设公司

64位linux下的Hadoop分布式集群怎么配置

这篇文章主要讲解了“64位linux下的Hadoop分布式集群怎么配置”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“64位linux下的Hadoop分布式集群怎么配置”吧！

成都创新互联公司从2013年创立，先为泾县等服务建站，泾县等地企业，进行企业商务咨询服务。为泾县企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

        搭建Hadoop总的来说分为以下步骤：

  1. 检查集群机子环境，准备合适的Hadoop部署文件，一般有以下内容：

    1. 检查Java安装（一般不用自带的openJDK，具体原因暂不清楚）；

    2. 自编译Hadoop 64位部署文件（32bit Hadoop部署文件在x64机子上会有些小问题）

    3. 分布式环境下对机子进行整理，罗列其ip（更改/ect/hosts文件需要），划分其Master、Slaver职责（也可以划分更细的ResourceManager、SecondNameNode等，一般来说每个机子都充分利用，均充当DataNode）

    4. “规划”Hadoop文件夹结构，包括安装目录、数据文件（hadoop_data）、临时文件（hadoop_tmp）等；一般来说，建议一个hadoop x.x.0目录下，分别设立hadoop x.x.0目录（解压的Hadoop部署文件存放位置）、hadoop-data（数据文件）、hadoop_tmp（临时文件）；当然这是笔者自己的实践，如果不是“行业标准”，请勿见笑；

  2. 配置运行环境，这里指的是除Hadoop部署文件中配置文件之外的与系统相关的配置：

    1. 修改/etc/hosts文件；

    2. 对各Master-Slaver设置ssh无密码访问；

  3. 配置Hadoop参数：

    1. 对{Hadoop_Home}/etc/hadoop/下的配置文件进行修改，包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml，以及slaves文件（hadoop 2.2.0中无masters，参考 masters 和 slaves 文件）。

    2. 初次安装，参数尽量最小化配置，少配就行，之后集群优化的工作多得是；

  4. 配置支持lzo（这次正是太拘泥于细节，栽在了这个上面，其实分两个步骤）：

    1. 安装lzo（因为集群需要原生lzo安装目录下的一些库）；

    2. 安装hadoop-lzo（集群需要一些针对Hadoop的hadoop-lzo下的一些库）；

    3. lzop（可选，如果需要测试效果，可用该工具生成一些.lzo文件）

  5. 启动集群：

    1. 格式化NameNode：${Hadoop_Home}/bin/hdfs namenode –format

    2. 一键式启动：${Hadoop_Home}/sbin/start-all.sh（该方法官方不建议使用，但还是能用：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh）

    3. 检查进程状况： jps（来自JDK的工具）

    4. 细化步骤：

      1. 开启守护进程

        1. [hadoop@hadoop01 ~]$ hadoop-daemon.sh start namenode

        2. [hadoop@hadoop01 ~]$ hadoop-daemon.sh start datanode

      2. 开启yarn守护进程

        1. [hadoop@hadoop01 ~]$ yarn-daemon.sh start resourcemanager

        2. [hadoop@hadoop01 ~]$ yarn-daemon.sh start nodemanager

        3. [hadoop@hadoop01 ~]$ start-yarn.sh

感谢各位的阅读，以上就是“64位linux下的Hadoop分布式集群怎么配置”的内容了，经过本文的学习后，相信大家对64位linux下的Hadoop分布式集群怎么配置这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！


网站标题：64位linux下的Hadoop分布式集群怎么配置
当前URL：http://azwzsj.com/article/gspdih.html

其他资讯