如何解决Hbase、elasticsearch整合中jar包冲突的问题
这篇文章主要介绍了如何解决Hbase、elasticsearch整合中jar包冲突的问题,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
成都创新互联公司长期为超过千家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为息县企业提供专业的网站制作、做网站,息县网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。
问题背景
再数据平台中,项目搭建需要使用es和HBASE搭建数据查询接口,整合的过程中出现jar包冲突的bug :com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator at org.apache.hadoop.hbase.client.RpcRetryingCaller.translateException(RpcRetryingCaller.java:239) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:150) ... at java.lang.Thread.run(Thread.java:745) Caused by: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch. ()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator at org.apache.hadoop.hbase.zookeeper.MetaTableLocator.blockUntil ... at org.apache.hadoop.hbase.client.RegionServerCallable.prepare(RegionServerCallable.java:75) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:134) ... 45 more
解决办法
经排查,确认是因为 com.google.guava 这个包引起的冲突。es依赖于18及以上版本,而HBASE只支持16及以上版本。而guava这个包从17开始内部发生变化,方法发生改变,所以18并不会向下兼容16版本。在项目运行的过程中,如果同时引入16、18版本,es及hbase的调用过程会发生混乱。那么接下来就好办了,我们可以重新打包,将guava18打入es内部,再在pom文件中显示引用guava16版本的包。这样,es调用包内部打入的guava18,而hbase调用外部的guava16。
重新打包
新建maven工程,在pom文件中进行如下配置:
4.0.0 douguo.shaded.elasticsearch douguo_shaded_elasticsearch 1.0-SNAPSHOT 2.4.1 org.elasticsearch elasticsearch ${elasticsearch.version} org.elasticsearch.plugin shield ${elasticsearch.version} org.apache.maven.plugins maven-shade-plugin 2.4.1 false package shade com.google.guava douguo.shaded.elasticsearch.guava org.joda douguo.shaded.elasticsearch.joda com.google.common douguo.shaded.elasticsearch.common com.google.thirdparty douguo.shaded.elasticsearch.thirdparty elasticsearch-releases http://maven.elasticsearch.org/releases true daily false
将org.joda等4个可能有冲突的jar包通过maven-shade-plugin插件迁移后重新打个jar包从而使得在引入这个jar包时能够使用该jar包自己的依赖而不是使用外部依赖。这里需要注意的是,需要将com.google.common等4个包全部重新迁移,否则会出现java.lang.IllegalAccessError: tried to access method com.google.common.base的错误
项目打包
mvn clean install
新的依赖包会在.m2 maven仓库中,如果公司搭建了仓库的话,需要上传jar包。如果直接运行jar包的话,记得重新编译项目,并替换lib目录
项目载入新包
只需要在pom文件中配置:
douguo.shaded.elasticsearch douguo_shaded_elasticsearch 1.0-SNAPSHOT org.elasticsearch elasticsearch com.google.guava guava 16.0
这样,guava18包就在douguo.shaded.elasticsearch下,es会优先调用。而外部配置的guava16就会被HBASE调用。2个版本的jar包互相独立存在!
感谢你能够认真阅读完这篇文章,希望小编分享的“如何解决Hbase、elasticsearch整合中jar包冲突的问题”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!
文章题目:如何解决Hbase、elasticsearch整合中jar包冲突的问题
文章地址:http://azwzsj.com/article/gipdse.html