CDHhadoop部署-创新互联
1. 所有免密钥登陆(all节点)(centos6 操作系统)
创新互联凭借专业的设计团队扎实的技术支持、优质高效的服务意识和丰厚的资源优势,提供专业的网站策划、成都网站建设、成都网站制作、网站优化、软件开发、网站改版等服务,在成都10多年的网站建设设计经验,为成都上千家中小型企业策划设计了网站。node01 2C 6G node02 2C 2G node03 2C 2G 2.node01 安装数据库 mysql5.5(node01节点) https://blog.csdn.net/u012402177/article/details/82870433 root/123456 3.下载基础的软件(all 节点) yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb /etc/init.d/ntpd start 解决agent启动会有问题: /opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/build/env/bin/python: error while loading shared libraries: libpython2.6.so.1.0: cannot open shared object file: No such file or directory wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz tar -xzvf Python-2.6.6.tgz cd Python-2.6.6 ./configure --prefix=/foo/python26 --enable-shared make make altinstall sudo ln -s /foo/python26/lib/libpython2.6.so.1.0 /usr/lib/libpython2.6.so.1.0 4.clouderamanager安装(server 和 agent节点都需要 all) mkdir /opt/cloudera-manager tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager 5.添加用户所有节点 useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 6.修该所有agent节点的server的地址 /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host 7.创建目录 Server节点 mkdir -p /opt/cloudera/parcel-repo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo Agent节点 mkdir -p /opt/cloudera/parcels chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 8.server节点制作源(文件放在如下路径) cd /opt/cloudera/parcel-repo [root@node01 parcel-repo]# 11 -rw-r--r-- 1 root root 1272629458 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel -rw-r--r-- 1 root root 41 Oct 30 13:33 CDH-5.4.0-1.cdh6.4.0.p0.27-el6.parcel.sha -rw-r--r-- 1 root root 42625 Oct 30 13:32 manifest.json 9.配置CM数据库 以及数据库连接驱动 mkdir -p /usr/share/java/ cd /usr/share/java/ cp -a /root/install/mysql-connector-java-5.1.26-bin.jar ./ mv mysql-connector-java-5.1.26-bin.jar mysql-connector-java.jar 创建库(server端执行) 删除mysql.user 里面所有多余的用户 只剩一个管理员 grant all on *.* to 'temp'@'%' identified by 'temp' with grant option; flush privileges; cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/ ./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm 10.启动服务 server端 node01 cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/ ./cloudera-scm-server start agent node01 node02 node03 /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent restart2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
文章标题:CDHhadoop部署-创新互联
网址分享:http://azwzsj.com/article/dpcgge.html