HADOOPHDFS有哪些优点
本篇内容介绍了“HADOOP HDFS有哪些优点”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:网站制作、成都网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的开福网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
以HADOOP 2.x为背景。
一、库房(存储银两)之HDFS。
为了发家致富,胡雪岩掌柜的开了(阜康钱庄),首先得找个地方放银两,在北京买块地,盖个房子,这就是银库(HDFS),这个银库有个特点,除了北京(节点1)可以盖,在河北(节点2)也能盖,在安徽(节点3)也能盖,而且这3地的银库的银两是可以互通的,储户左宗棠可以在北京存钱,安徽能取。
好处:
1、解决单点故障,北京银库被抢劫。
2、可以低成本扩展硬件的问题,北京地价贵。
3、数据的就近使用,河北也能取钱。
4、高扩展性。业务大,在河南也能盖银库,业务小,河北的银库可以出租出去。
5、适合大数据处理、3个库房可以同时存取银两。只要库房(1w个库房)够多,放个几个亿。GB,TB,PB。
缺点:
1、低延时数据访问,往库房放银两较慢
2、适合存储银锭(大文件),不适合处理碎银两。
3、适合放银两,不适合换银两。
当有了库房,得有个管理库房的人,(阜康钱庄)就开始营业了。
1、库房总管:胡二(namenode):
管理HDFS的名称空间,北京库房叫北库,河北库房叫河北库,安徽库房叫徽库。
管理数据块(block)的映射信息,记录左大人的钱在哪里放在。
配置副本策略。
处理客户端读写请求,接银两的存储请求。
2、分库房负责人:胡北京 胡河北 胡安徽(datanode)
存储实际数据块,放银两
执行数据块的读写操作,具体操作银两的存放。
存储着文件。
hadoop1.0 一个银锭64MB
hadoop2.0 一个银锭128MB
3、库房总管助手:胡小二(胡二的助手):
辅助胡二(namenode),分担工作量。
定期合并fsimage和fsedits,并推送给namenode,胡小二平时记录存储账目。
在紧急情况小,可辅助恢复namenode,胡小二接替胡二的工作。
4、客户:储户左宗棠 (client)
存钱,上传文件,零存,
取钱
和胡二读取文件的位置信息
和胡北京读取数据
二、下面聊聊存钱过程(HDFS的文件写入)和取钱过程(HDFS的文件读取)
1、左宗棠存钱过程.
左宗棠找胡二,我要存钱。
胡二先判断左宗棠有权限存钱没,然后给左宗棠分配存钱的库房。
左宗棠拿着条(存储信息),去了北京库房,把钱存入北京库房。
左宗棠把存储的信息反馈给胡二。
2、左宗棠取钱过程。
左宗棠要取钱,问胡二钱在哪个库房。
胡二告诉左宗棠钱在胡北京的库房。
左宗棠去胡北京的库房取银两。
如果取的钱太多,需要用车拉多次,左宗棠取一次钱,需要告诉一次胡二。
等取钱结束后,告诉胡二。
“HADOOP HDFS有哪些优点”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!
本文标题:HADOOPHDFS有哪些优点
分享网址:http://azwzsj.com/article/ihhhjs.html