您的位置:首页 > 其它

就是准备!

2010-06-24 12:03 183 查看
通常来说nutch应该部署在多台机器上,做并行抓取,那么配置nutch在单机windows下有什么意义呢?就是方便debug。

下面分步骤详述。
1.安装JDK 6,eclipse3.2以上版本
2.为eclise安装IBM mapreduce tools插件
http://www.alphaworks.ibm.com/tech/mapreducetools
3.安装cygwin,并设置环境变量
4.下载nutch源代码,我使用的是最新的1.0版本
5.在eclipse中创建MapReduce Project工程。将nutch下的src/java下的所有代码复制到工程的src目录下,a并将其依赖的jar导入工程路径。
6.将nutch/conf 下的配置文件复制到classloder可以找到的路径,我是复制在bin下
7.修改org.apache.nutch.crawl.Crawl,在main()里加入一句
conf.set("hadoop.job.ugi", "你的帐号名,你的系统密码");

或者在nutch-site.xml加入
<property>
<name>hadoop.job.ugi</name>
<value>你的帐号名,你的系统密码</value>
<description></description>
</property>

8.运行org.apache.nutch.crawl.Crawl类,命令行参数可以如下:
D:\test-nutch\urls -dir D:\test-nutch -depth 3 -topN 100 -threads 5
,head溢出的话,请调整内存参数

如果运行成功的话,你就可以使用luke来查看索引文件了。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐