CDHhadoop部署-创新互联

1. 所有免密钥登陆(all节点)(centos6 操作系统)

创新互联凭借专业的设计团队扎实的技术支持、优质高效的服务意识和丰厚的资源优势,提供专业的网站策划、成都网站建设、成都网站制作、网站优化、软件开发、网站改版等服务,在成都10多年的网站建设设计经验,为成都上千家中小型企业策划设计了网站。node01 2C  6G node02 2C  2G node03 2C  2G 2.node01 安装数据库 mysql5.5(node01节点) https://blog.csdn.net/u012402177/article/details/82870433 root/123456 3.下载基础的软件(all 节点) yum  -y  install  chkconfig python bind-utils psmisc libxslt  zlib sqlite cyrus-sasl-plain  cyrus-sasl-gssapi fuse  fuse-libs  redhat-lsb /etc/init.d/ntpd  start   解决agent启动会有问题: /opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/build/env/bin/python: error while loading shared libraries: libpython2.6.so.1.0: cannot open shared object file: No such file or directory wget  http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz tar -xzvf Python-2.6.6.tgz cd  Python-2.6.6 ./configure --prefix=/foo/python26 --enable-shared make make altinstall sudo ln -s /foo/python26/lib/libpython2.6.so.1.0  /usr/lib/libpython2.6.so.1.0 4.clouderamanager安装(server 和 agent节点都需要  all)  mkdir /opt/cloudera-manager  tar xvzf cloudera-manager*.tar.gz  -C /opt/cloudera-manager 5.添加用户所有节点 useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 6.修该所有agent节点的server的地址 /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host 7.创建目录 Server节点 mkdir -p /opt/cloudera/parcel-repo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo Agent节点 mkdir -p /opt/cloudera/parcels chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 8.server节点制作源(文件放在如下路径) cd  /opt/cloudera/parcel-repo [root@node01 parcel-repo]# 11 -rw-r--r-- 1 root root 1272629458 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel -rw-r--r-- 1 root root         41 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel.sha -rw-r--r-- 1 root root      42625 Oct 30 13:32 manifest.json 9.配置CM数据库  以及数据库连接驱动 mkdir -p   /usr/share/java/ cd /usr/share/java/ cp -a  /root/install/mysql-connector-java-5.1.26-bin.jar   ./ mv  mysql-connector-java-5.1.26-bin.jar  mysql-connector-java.jar 创建库(server端执行) 删除mysql.user 里面所有多余的用户 只剩一个管理员 grant all on *.* to 'temp'@'%' identified by 'temp' with grant option; flush  privileges; cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/ ./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm 10.启动服务 server端 node01 cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/ ./cloudera-scm-server start agent  node01  node02  node03  /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent  restart

2.

CDH  hadoop 部署

3.

CDH  hadoop 部署

4.

CDH  hadoop 部署

5.

CDH  hadoop 部署

6.

CDH  hadoop 部署

7.

CDH  hadoop 部署

8.

CDH  hadoop 部署

9.

CDH  hadoop 部署

10.

CDH  hadoop 部署

11.

CDH  hadoop 部署

12.

CDH  hadoop 部署

13.

CDH  hadoop 部署

14.

CDH  hadoop 部署

15.

CDH  hadoop 部署

16.

CDH  hadoop 部署

17.

CDH  hadoop 部署

18.

CDH  hadoop 部署

19.

CDH  hadoop 部署

20.

CDH  hadoop 部署

21.

CDH  hadoop 部署

22.

CDH  hadoop 部署

23.

CDH  hadoop 部署

24.

CDH  hadoop 部署

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章标题:CDHhadoop部署-创新互联
网址分享:http://azwzsj.com/article/dpcgge.html