阿坝州网站建设公司

怎么安装配置MapReduce

这篇文章主要介绍“怎么安装配置MapReduce”，在日常操作中，相信很多人在怎么安装配置MapReduce问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”怎么安装配置MapReduce”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

专注于为中小企业提供网站建设、网站制作服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业静乐免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了成百上千企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。

MapReduce 的优势在于处理大规模数据集
win10 安装hadoop 3.1.2

win10 安装hadoop 3.1.2

hadoop Linux安装配置(ubuntu 18.04 hadoop3.1.2)

  • 解压 tar.gz

  • 配置JAVA_HOME

  • 配置HADOOP_HOME ,PATH等

 tar -zxvf hadoop-3.1.2.tar

 vim .bashrc
 export JAVA_HOME
 export PATH=$PATH:${JAVA_HOME}/bin
 export HADOOP_HOME
 export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

  • hdoop version 验证是否成功

  • 三种模式

    • 独立（或本地）模式，无需运行任何守护进程，所有程序都在同一个JVM上执行。适合测试和调试MapReduce 程序

    • 伪分布式，运行在本地机器上，模拟一个小规模的集群

    • 全分布式

    • 修改配置文件，参照代码 -- hdoopconfig

  • 配置ssh

ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost #测试

  • 格式化HDFS hdfs namenode -format

  • 启动和终止守护进程

    • start-dfs.sh

    • start-yarn.sh

    • mr-jobhistory-daemon.sh start historyserver

    • 终止服务

    • mr-jobhistory-daemon.sh stop historyserver

    • stop-yarn.sh

    • stop-dfs.sh

  • 创建用户目录

    • hadoop fs -mkdir -p /user/$USER

api 版本差异

  • 新api 位于 org.apache.hadoop.mapreduce

  • 新api 大量使用了 Context

  • 新api 通过Job来完成作业控制

示例代码 github

hadoop 权威指代码

横向扩展

  • 数据流

    • 输入数据 MapReduce 程序 配置信息

    • Hadoop 将作业分成若干个任务来执行,并通过 YARN进行调度。如果一个任务失败，它将在另一个不同的节点上自动重新调度运行

    • Hadoop将MapReduce 的输入数据划分成等长的小数据块，成为输入分片。每个分片构建一个map任务

    • 分片大小要合适，一个合理分片大小趋向于HDFS一个块的大小默认128MB

    • Hadoop 在存储有输入数据（HDFS中的数据）的节点上运行map任务，可获得最佳性能，因为不需要使用带宽资源

    • map任务将输出写入本地硬盘而非HDFS，因为是中间结果

    • 混洗？

  • combiner 函数

    • combiner 函数输出作为reduce 函数的输入，可以减少map和reduce任务之间的数据传输

    • combiner的规则制约着可用的函数类型

    • 不能取代reduce ,例如求平均值得程序就不能用combiner

  • hadoop Streaming

    • 允许使用非java 语言开发MapReduce

到此，关于“怎么安装配置MapReduce”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！


本文名称：怎么安装配置MapReduce
文章链接：http://azwzsj.com/article/joccps.html

其他资讯