hadoop2.6.0-cdh5.7.0编译方法是什么
这篇文章主要讲解了“hadoop2.6.0-cdh5.7.0编译方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“hadoop2.6.0-cdh5.7.0编译方法是什么”吧!
作为一家“创意+整合+营销”的成都网站建设机构,我们在业内良好的客户口碑。成都创新互联公司提供从前期的网站品牌分析策划、网站设计、网站设计制作、成都网站建设、创意表现、网页制作、系统开发以及后续网站营销运营等一系列服务,帮助企业打造创新的互联网品牌经营模式与有效的网络营销方法,创造更大的价值。
一、软件包:snappy-1.1.3.tar.gz
二、安装依赖包:
yum -y install snappy libsnappy-dev
yum -y install bzip2 libbz2-dev
yum -y install libjansson-dev
三、bzip2压缩支持:
yum install -y bzip2-devel
rpm -qa bzip2-devel
注:bizip2的的本地压缩支持无效,整个编译过程,并没有出现任何错误,或异常,而且去cenots下的lib64位目录下,查看libbz2的so文件,发现也正常。安装bzip2-devel库支持,然后重新编译我们的hadoop即可。
四、安装snappy:
# tar xf snappy-1.1.3.tar.gz
# cd snappy-1.1.3
# ./configure
# make && make install
查看snappy是否安装完成:
# ll /usr/local/lib/ | grep snappy
五、编译hadoop:mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
或
mvn clean package -DskipTests -Pdist,native -Dtar
注:必须在编译时加入native
六、配置hadoop的core-site.xml、mapred-site.xmlvi core-site.xml
io.compression.codecs
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
vi mapred-site.xml
mapreduce.map.output.compress.codec
org.apache.hadoop.io.compress.SnappyCodec
编译完成后,将生成hadoop中的native目录下文件拷贝到对应hadoop安装目录下的native目录中,并重启hadoop。执行hadoop checknative验证
感谢各位的阅读,以上就是“hadoop2.6.0-cdh5.7.0编译方法是什么”的内容了,经过本文的学习后,相信大家对hadoop2.6.0-cdh5.7.0编译方法是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
标题名称:hadoop2.6.0-cdh5.7.0编译方法是什么
标题链接:http://azwzsj.com/article/jdcjdp.html