阿坝州网站建设公司

mapreduce搭建-创新互联

一.虚拟机安装CentOS7并配置共享文件夹
二.CentOS 7 上hadoop伪分布式搭建全流程完整教程
三.本机使用python操作hdfs搭建及常见问题
四.mapreduce搭建
五.mapper-reducer编程搭建

成都网站设计、成都网站建设服务团队是一支充满着热情的团队，执着、敏锐、追求更好，是创新互联的标准与要求，同时竭诚为客户提供服务是我们的理念。成都创新互联公司把每个网站当做一个产品来开发，精雕细琢，追求一名工匠心中的细致，我们更用心！
mapreduce搭建
    • 一、配置
      • 1.创建mapred-site.xml文件
      • 2.编辑mapred-site.xml
    • 二、打开hadoop
      • 0.删除data文件夹
      • 1.格式化 namenode
      • 2.启动集群
      • 3.启动 namenode 和 datanode
      • 4.查看服务
      • 5.web访问
    • 三、执行测试历程

一、配置 1.创建mapred-site.xml文件
cd /usr/local/hadoop/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
2.编辑mapred-site.xml
sudo gedit mapred-site.xml

替换

为

mapreduce.framework.nameyarn[huangqifa@hadoop4 hadoop]$ sudo gedit yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle

在这里插入图片描述

二、打开hadoop 0.删除data文件夹

删除/home/huangqifa/data（core-site.xml、hdfs-site.xml中的存储路径）

1.格式化 namenode
hadoop namenode -format
2.启动集群
sh /usr/local/hadoop/sbin/start-all.sh
3.启动 namenode 和 datanode
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
4.查看服务
[huangqifa@hadoop4 ~]$ jps
3012 NameNode
3562 ResourceManager
4044 Jps
3869 NodeManager
3374 SecondaryNameNode
3167 DataNode
5.web访问

在这里插入图片描述

三、执行测试历程
cd /usr/local/hadoop/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 3 3

其中第一个3的含义是指开启3个map任务，第二个3是每个map里面投掷3次，这两个参数可以修改

在这里插入图片描述
参考网址：https://blog.csdn.net/jjjjjjabnannnan/article/details/110239351

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧


网页标题：mapreduce搭建-创新互联
分享URL：http://azwzsj.com/article/djciis.html

其他资讯