阿坝州网站建设公司

nutch部署到eclipse常见错误有哪些

nutch部署到eclipse常见错误有哪些，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

成都创新互联网站建设公司是一家服务多年做网站建设策划设计制作的公司,为广大用户提供了成都做网站、网站设计，成都网站设计，广告投放平台，成都做网站选成都创新互联，贴合企业需求，高性价比，满足客户不同层次的需求一站式服务欢迎致电。

Nutch部署到eclipse常见错误

Failed to set permissions of path: \tmp\hadoop-hadoop\mapred\staging\hadoop1847455384\.staging to 0700

之前在eclipse上部署hadoop时好像也遇到过这个问题。但是，现在已经不知道怎么解决了。

方法1：

  1. 注释掉

 

 

  1. 去掉compile-core-native

 

 if="compile.native">

中的create-native-configure依赖

3、修改hadoop-1.1.2/src/core/org/apache/hadoop/fs/FileUtil.java 691行，把throw new IOException改为LOG.warn

4、用ant编译项目，编译成功后从build文件夹中取出hadoop-core.jar文件夹，放入我们eclipse中的hadoop项目中，替换项目中原有hadoop-core.jar，放入lib文件夹下。再通过buildpath添加jar包。

方法2：

不用修改build.xml，直接修改FileUtil.java文件中的“checkReturnValue(rv, f, permission);”，直接注释掉，再用ant命令编译一遍即可产生hadoop-core.jar包，同样将hadoop-core.jar替换掉项目中hadoop-core.jar。

继解决了上一个异常Failed to set permissions of path:之后，运行文件又出现异常：

运行参数为：urls -dir crawl -depth 2 -topN 2

异常为：

Input path does not exist: file:/E:/qjay/wrokespace2013/trunk/-dir

这个错是由于未正确指定参数Program arguments导致的。来来去去就这么几个错，折腾了一天。深刻体会到，有时候想问题真的不要那么狭隘，要敢于大胆假设。从没想过是Program arguments的问题。。。不过找到问题了就快了。

Eclipse查看hadoop源代码

Eclipse查看hadoop源代码导入不成功。以hadoop-1.2.1.tar.gz为例，我们先解压hadoop项目，然后在压缩成zip格式的文件，导入即可成功。

total number of urls rejected by filters: 0

我遇见的这个问题并不是由于程序本身问题导致的，而是因为传递配置参数时没写正确。

在eclipse中运行injector类时，传的参数应当为：

Main class: org.apache.nutch.crawl.Injector

VM arguments: -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

Program arguments: crawldb urls

继续运行，这次会发现已经开始报错了。很好，报错是好事，害怕的就是它不报错。能报错就好办了，继续解决下边这个异常：

nutch java.lang.Exception: java.lang.RuntimeException: Error in configuring object

nutch部署过程中出现了下面错误，主要是没有正确配置插件导致的，可以通过设置nutch-site.xml文件的plugin.folders属性解决问题

 修改conf下nutch-default文件将plugin.folders的值由plugins修改为./src/plugin

因为plugin文件在src目录下。

关于nutch部署到eclipse常见错误有哪些问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注创新互联行业资讯频道了解更多相关知识。


当前标题：nutch部署到eclipse常见错误有哪些
本文URL：http://azwzsj.com/article/ihojis.html

其他资讯