Hadoop五个进程的作用和联系-创新互联

Hadoop五个进程的作用和联系

为封丘等地区用户提供了全套网页设计制作服务,及封丘网站建设行业解决方案。主营业务为网站设计制作、做网站、封丘网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

1.NameNode:

相当于一个领导者,负责调度 ,比如你需要存一个1280m的文件如果按照128m分块 那么namenode就会把这10个块(这里不考虑副本)分配到集群中的datanode上并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。它主要维护两个map 一个是文件到块的对应关系 一个是块到节点的对应关系。

2. secondarynamenode:

它是namenode的一个快照,会根据configuration中设置的值来决定多少时间周期性的去cp一namenode,记录namenode中的metadata及其它数据

3. NodeManager(NM):

1、是YARN中每个节点上的代理,它管理Hadoop集群中单个计算节点

2、包括与ResourceManger保持通信,监督Container的生命周期管理,

3、监控每个Container的资源使用(内存、CPU等)情况,追踪节点健

4、康状况,管理日志和不同应用程序用到的附属服务(auxiliary service)

4.DataNode:

a.DataNode的需要完成的首要任务是K-V存储

b.完成和namenode 通信 ,这个通过IPC 心跳连接实现,此外还有和客户端 其它datanode之前的信息交换。

 c.完成和客户端还有其它节点的大规模通信,这个需要直接通过socket 协议实现。

5.ResourceManager:

 在YARN中,ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager)RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作。

  a.NodeManagers 遵循来自ResourceManager的指令来管理单一节点上的可用资源。

  b.ApplicationMasters负责与ResourceManager协商资源与NodeManagers合作启动容器

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章题目:Hadoop五个进程的作用和联系-创新互联
链接分享:http://azwzsj.com/article/pgjei.html