阿坝州网站建设公司

一.hadoop伪分布式部署-创新互联

========一.hadoop伪分布式=========

伪分布式环境配置
需要安装openjdk 和openjdk-devel软件包（用的是1.8.0版本）
rpm -ql Java-openjdk-devel-1.8.0 | grep ‘/bin/javac’
vim /etc/profile
#Java
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin



#hive
export HIVE_HOME=/data/hadoop/hive
export PATH=$HIVE_HOME/bin:$PATH

#hadoop
export  HADOOP_HOME=/data/hadoop/hadoop-2.7.4
export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile 
java -version

添加hadoop 用户 useradd -m hadoop -s /bin/bash
给予sudo权限 visudo 编辑配置文件的98行，在root这行下添加hadoop用户
root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL

切换到hadoop 用户
然后设置远程登录
生成密钥对 
ssh-keygen -t rsa 
cat id_rsa.pub >> authorized_keys  
chmod 600 ./authorized_keys（注意权限设置）



=========二.安装hadoop=========


wget http://114.242.101.2:808/hadoop/hadoop-2.7.4.tar.gz
tar xf hadoop-2.7.4.tar.gz -C /data/hadoop
chown -R hadoop.hadoop /data/hadoop/hadoop-2.7.4


==========三.配置文件=============

/data/hadoop/hadoop-2.7.4/etc/hadoop/ 路径下
hdfs-site.xml
core-site.xml
mapred-site.xml.template

hdfs-site.xml：这里面定义的是数据节点个数以块文件大小
core-site.xml：定义的hadoop的header机
mapred-site.xml.template：定义的是hadoop文件存放的调度方式

针对伪分布式三个配置文件如下(默认为空)

core-site.xml配置文件如下:
    
        hadoop.tmp.dir
        file:/data/hadoop/hadoop-2.7.4/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000
    
    
    
    
hdfs-site.xml配置文件如下:
    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/data/hadoop/hadoop-2.7.4/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/data/hadoop/hadoop-2.7.4/tmp/dfs/data
    
    
    
 
mapred-site.xml.template配置文件如下:
    
        mapreduce.framework.name
        yarn
    
cd /data/hadoop/hadoop-2.7.4/
执行./bin/hdfs namenode -format 进行格式化
./sbin/start-dfs.sh 


启动完成后，可以通过命令 jps 来判断是否成功启动
若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode


vim ~/.bashrc 添加
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64
source ~/.bashrc 后重新启动
搭建完成


访问：http://192.168.0.12:50070

创新互联主要从事成都网站设计、做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务皮山,十多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:13518219792

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


网页名称：一.hadoop伪分布式部署-创新互联
标题路径：http://azwzsj.com/article/jhsoe.html

其他资讯