CentOS下hadoop完全分布式的基础配置
配置完全分布式
10余年的彭州网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。成都全网营销的优势是能够根据用户设备显示端的尺寸不同，自动调整彭州建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联从事“彭州网站设计”,“彭州网站推广”以来，每个客户项目都认真落实执行。
1、修改静态IP和主机名称
①规划IP和主机名映射
②涉及文件
etc/hostname
etc/hosts
etc/resolve.conf
etc/sysconfig/network-script/ifcfg-ens3
2、配置ssh
①删除各节点的~/.ssh目录
②在各节点创建~/.ssh目录，同时指定权限
mkdir ~/.ssh -m 700
③在主节点生成公私密钥对
//生成成公私密钥对
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cp id_rsa.pub authorized_keys //authorized_keys为644权限
//分发公钥
scp ~/.ssh/authorized_keys centos@s202:/home/centos/.ssh/
ssh-copy-id centos@s202
④分发密钥
scp ~/.ssh/authorized_keys centos@s212:/~/.ssh/
⑤测试ssh是否成功
ssh s212
3、修改配置文件并分发到个节点
①core-site.xml
②hdfs-site.xml
③mapred-site.xml
④yarn-site.xml
⑤分发配置文件
rsync etc centos@s212:/soft/hadoop/
4、NN和DN指定
slaves文件配置
5、克隆主机并修改各节点主机IP和名称
方法同步骤1
6、格式化文件系统
hdfs namenode -format
7、启动集群，观察进程
1、启动hdfs
start-dfs.sh
//涉及进程
namenode 50070 元数据
datanode 50075 数据
secondarynamenode 50090
2、启动yarn
start-yarn.sh
//涉及进程
resourcemanager
nodemanager
涉及脚本：
1、xcall.sh
#!/bin/bash
for host in `cat /soft/hadoop/etc/hadoop/slaves` ; do
echo ========== $host ===========
ssh $host $@ ;
done
2、xsync.sh
#!/bin/bash
param=$1
dir=`dirname $param`
fullpath=`pwd -P`
user=`whoami`
filename=`basename $param`
cd $dir
for host in `cat /soft/hadoop/etc/hadoop/slaves` ; do
echo =========== $host ============
rsync -lr $filename $user@$host:$fullpath ;
done
文章标题：CentOS下hadoop完全分布式的基础配置
本文网址：http://azwzsj.com/article/popgig.html
