Hadoop2.2.0如何编译
这篇文章主要介绍Hadoop2.2.0如何编译,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
创新新互联,凭借十载的成都做网站、成都网站设计、成都外贸网站建设经验,本着真心·诚心服务的企业理念服务于成都中小企业设计网站有上1000+案例。做网站建设,选成都创新互联。
Apache提供了Hadoop2.2.0 32位版本以及源码,但是目前系统中大多使用的是64位系统,所以我们需要自己利用源码进行重新编译64位版本。
我使用的是Ubuntu12版本系统
安装依赖包的命令
sudo port install libtool
sudo port install cmake
sudo port install ncurses
sudo port install openssl
sudo port install maven3
还需要安装jdk,jdk请使用1.6或1.7版(推荐)。
注:jdk 1.8 编译会出现问题,具体原因不明
还需要安装ssh
sudo apt-get install openssh-client
sudo apt-get install openssh-server
maven
sudo apt-get install maven
如果需要编译时生成doc文档,则需要安装findbugs
http://sourceforge.jp/projects/sfnet_findbugs/releases/
解压配置findbugs
通信使用到了rcp 所以需要protoc
https://code.google.com/p/protobuf/downloads/list
编译前需要先修改hadoop源码中的一个配置(这应该是hadoop中的一个BUG)
hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/pom.xml
第55行下增加内容变为:
56
org.mortbay.jetty
jetty-util
test
org.mortbay.jetty
jetty
test
编译命令
生成docs
mvn package -DskipTests -Pdist,native,docs
不生成docs
mvn package -DskipTests -Pdist,native
我编译源码时/etc/profile文件中的一些配置信息
export JAVA_HOME=/usr/app/jdk1.7.0_25
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export PATH=/home/ricardo/apache-maven-3.0.5/bin:$PATH
export FINDBUGS_HOME=/home/ricardo/findbugs-3.0.0
export PATH=FINDBUGS_HOME/bin:$PATH
export HADOOP_PROTOC_PAT=/usr/local/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export FORREST_HOME=/home/ricardo/apache-forrest-0.9
export PATH=$PATH:$FORREST_HOME/bin
编译的整个过程大约需要40多分钟,具体时间取决于网络与计算机性能
以上是“Hadoop2.2.0如何编译”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!
分享题目:Hadoop2.2.0如何编译
本文网址:http://azwzsj.com/article/pechcp.html