hadoop如何部署-创新互联

这篇文章将为大家详细讲解有关hadoop如何部署,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

创新互联-专业网站定制、快速模板网站建设、高性价比定南网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式定南网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖定南地区。费用合理售后完善,十载实体公司更值得信赖。

Hadoop的三种模式:
Standalone Operation 单机模式 不开发  不生产  没有进程
Pseudo-Distributed Operation 伪分布式 开发 不生产  独立进程 但是只部署在1台机器
Fully-Distributed Operation 分布式 开发 生产  独立进程 但是只部署在n台机器

部署:
1.解压
命令:tar -xzvf  hadoop-2.8.1.tar.gz


2.配置hosts文件
vi /etc/hosts 然后再尾部加上自己的IP和机器名字
如:hadoop如何部署


3.修改权限
hadoop如何部署


4.配置文件
part1:
切换到hadoop用户后再切换到我的hadoop资源目录
hadoop如何部署

从官网获取配置代码,添加到configuration配置里
hadoop如何部署
更改localhost为我们自己的ID

part2:指令:vi etc/hadoop/hdfs-site.xml修改文件hdfs-site.xml
hadoop如何部署


5.无密码ssh
输入指令ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
hadoop如何部署

继续执行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
            chmod 0600 ~/.ssh/authorized_keys

指令执行完成后用ssh 192.168.137.252来检查,如果结果仍然是自己的话就成功了。
hadoop如何部署
这里可能会要给hadoop用户设置进入密码,可以去root用户使用命令passwd hadoop(可以是你的hadoop用户名)设定。


6.namenode格式化
首先切换用户到hadoop用户,然后我们跳转到/opt/software/hadoop.... 即hadoop的文件目录下了,输入指令bin/hdfs namenode -format,此事如果报错为(WARN net.DNS: Unable to determine local hostname -falling back to "localhost" java.net.UnknownHostException: ruozehadoop001.localdomain: ruozehadoop001.localdomain: unknown error
),我们需要进入文件/etc/sysconfig/network中,vi编辑它,变成如图:hadoop如何部署

如果没有报错则结果为:hadoop如何部署hadoop如何部署


7.启动
还是在hadoop文件目录下vi进入文件vi etc/hadoop/hadoop-env.sh,按I修改文件尾部添加内容为如图:hadoop如何部署
输入指令:sbin/start-dfs.sh得到如图结果则为成功:hadoop如何部署
输入JPS查看结果为:hadoop如何部署

关于“hadoop如何部署”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。


文章题目:hadoop如何部署-创新互联
网站URL:http://azwzsj.com/article/psjhi.html