linux下用maven编译spark源码版-创新互联
先下载linux版本的SPARK的源码版,以及maven,然后用tar命令解压spark,maven的tgz包
创新互联建站专注于平山网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供平山营销型网站建设,平山网站制作、平山网页设计、平山网站官网定制、小程序开发服务,打造平山网络公司原创品牌,更为您提供平山网站排名全网营销落地服务。添加环境变量中添加maven的路径:
使用vi /etc/profile,
然后
export M2_HOME=/usr/soft/maven3.3.9 (根据实际安装目录而定)
export PATH=$PATH:$M2_HOME/bin
然后将maven镜像源改为中国的,这里使用的是开源中国的源,使用cd命令进入maven安装目录下的conf下 ,然后
vi settings.xml
加入如下镜像:
之后进入spark安装目录
使用命令 mvn -Dhadoop.version=2.7.2 -Phadoop-2.6 -DskipTests clean package
命令根据使用不同版本的hadoop有所改变,我用的是2.7.2版本
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
网页名称:linux下用maven编译spark源码版-创新互联
转载来于:http://azwzsj.com/article/dsdhih.html