hadoop学习过程-2013.08.29--爬虫larbin安装、配置、使用

安装

uname -a

### 输出: "Linux vmDeb 3.2.0-4-686-pae #1 SMP Debian 3.2.46-1 i686GNU/Linux"

apt-get install build-essential xutils-dev -y

### xutils-dev中含有makedepend

tar -zxvf larbin-2.6.3.tar.gz

cd larbin-2.6.3/

chmod uog+x configure

./configure

### 如果不安装xutils-dev，这里会报错"make[2]: *** [dep-in] 错误 127"， 是因为没有makedepend

make

### make中出现的错误解决方案见文件 : "Larbin安装中的错误的解决.mht"

#其中遇到问题:

# "/usr/include/i386-linux-gnu/asm/posix_types.h:2:30: fatal error: posix_types_32.h: 没有那个文件或目录"

# "In file included from /usr/include/linux/posix_types.h:47:0,"

#将/usr/include/linux/posix_types.h的47行注释掉，再make即可

./larbin

#即可运行起labrin了

"Larbin安装中的错误的解决.mht"来自网络，内容如下：

Larbin的使用--安装

1、到网上下载 larbin-2.6.3.tar.gz，然后解压。

tar zxvf larbin-2.6.3.tar.gz

2、 到解压的目录，运行配置文件

却出现以下的错误:

在上面发现有makedepend，于是输入

发现没有安装,有如下的提示

于是就输入命令老老实实的安装xutils-dev了

安装之后，./configure成功

3、编译

在目录下输入make进行编译。又出现了一下的错误

于是直接到adns目录找到internal.h文件注释掉568-572行。

继续make ,又出现一下的错误

代码采用的是以前C的编码方式，现在要改成iostream 了。于是将目录下的所有iostream.h 改成iostream。可以采用一下的命令

注意：后面的包含grep 的不是单引号，而是键盘左上角的符号。

继续编译,又出现错误

于是将目录下的所有cerr和 endl改成 std::cerr和std::endl。可以采用类似上面的命令。不过要注意是不是有的endl或cerr已经是std::endl和std::cerr。

至此编译就没有问题了。

可以发现在目录下已经生成larbin的可执行文件。

输入./larbin就可以运行larbin了。

使用

options.h可以控制larbin获取到网页后的行为（是啥也不做，还是保存网页），

但是修改options.h后，必须要重新编译，即执行:

./configure && make