linux下用maven编译spark源码版-创新互联

先下载linux版本的SPARK的源码版,以及maven,然后用tar命令解压spark,maven的tgz包

创新互联建站专注于平山网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供平山营销型网站建设,平山网站制作、平山网页设计、平山网站官网定制、小程序开发服务,打造平山网络公司原创品牌,更为您提供平山网站排名全网营销落地服务。

添加环境变量中添加maven的路径:

使用vi /etc/profile,

然后

export M2_HOME=/usr/soft/maven3.3.9    (根据实际安装目录而定)

export PATH=$PATH:$M2_HOME/bin

然后将maven镜像源改为中国的,这里使用的是开源中国的源,使用cd命令进入maven安装目录下的conf下 ,然后

vi settings.xml

加入如下镜像:

    nexus-osc

    *

    Nexus osc

    http://maven.oschina.net/content/groups/public/

之后进入spark安装目录

使用命令 mvn -Dhadoop.version=2.7.2 -Phadoop-2.6 -DskipTests clean package

命令根据使用不同版本的hadoop有所改变,我用的是2.7.2版本

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网页名称:linux下用maven编译spark源码版-创新互联
转载来于:http://azwzsj.com/article/dsdhih.html