Hadoop怎么设置HDFS的块大小-创新互联

这篇文章主要介绍Hadoop怎么设置HDFS的块大小,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

成都创新互联公司是一家以网站建设公司、网页设计、品牌设计、软件运维、营销推广、小程序App开发等移动开发为一体互联网公司。已累计为成都混凝土搅拌机等众行业中小客户提供优质的互联网建站和软件开发服务。

  HDFS是设计来存储和管理大数据的,因此典型的HDFS块大小明显比平时我们看到的传统文件系统块大得多,块大小的设置用来将大文件切割成一个数据块,再将这些数据块分发到集群上,例如集群的块大小设置为64MB,一个128MB的文件上传到HDFS上,HDFS会将这个文件切分成2(128/64)个数据块,再将这两块数据分发到集群的数据节点上。
设置块大小:
打开hdfs-site.xml,(在hadoop安装目录下的conf文件夹里)
操作步骤:
设置hdfs-site.xml下面的属性值:

dfs.block.size
134217728    --修改为128M
Block size



修改说明:
hdfs-site.xml是HDFS的配置文件,修改hdfs-site.xml配置文件的dfs.block.size属性值就会改变上传到HDFS所有文件的默认块大小。修改这个值并不会对HDFS上现存的任何文件的块大小产生影响,只会改变新上传文件的块大小。

以上是“Hadoop怎么设置HDFS的块大小”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联-成都网站建设公司行业资讯频道!


文章标题:Hadoop怎么设置HDFS的块大小-创新互联
当前链接:http://azwzsj.com/article/eedsh.html