CentOS5.5下scribe写入数据到HDFS配置方法

1按照CentOS 5.5 下配置Hadoop 0.21单节点
一文中的方法配置Hadoop

2编译scribe，支持hdfs

2.1下载thrift,libevent,boost等库，可以都下载最新版本，基本上都是make & make install

2.2下载最新版scribe-2.2，之前在网上看到说scribe有很多bug，必须在当前开发版本才能写入HDFS，试了好久没成功，也以为确实是代码的问题，现在发现不是这个问题，直接下载
该版本

2.3在scribe源码包里面bootstrap.sh，按照文档上的说法是可以一步到位的即：./configure --with-hadooppath=/usr/local/hadoop --enable-hdfs CPPFLAGS="-I/usr/local/java/include -I/usr/local/java/include/linux" LDFLAGS="-ljvm -lhdfs"，但是我的机器上面这样不行，因此直接./configure --enable-hdfs，然后修改相应的Makefile(src目录下面的)，将以下字段修改如下：

CPPFLAGS = -I/usr/local/lib/jdk1.6.0_23/include -I/usr/local/lib/jdk1.6.0_23/include/linux

上面的JDK路径以机器上面的实际路径为准。

2.4拷贝hadoop-0.21.0/hdfs/src/c++/libhdfs/hdfs.h文件到scribe/src目录下，libhdfs其实就是通过JNI让C/C++调用HDFS接口，在hadoop-0.21.0/hdfs/src/c++/libhdfs目录下面执行如下操作

./configure --enable-shared JVM_ARCH=tune=k8 --prefix=`pwd`/nativelib

./make install

这时会在nativelib/lib下面生成5个文件，将其都拷贝到/usr/local/lib下面，执行ldconfig

2.5编译scribe，在scribe/src目录下面执行./make，即可生成scribed文件，

2.6按照scribe/examples目录下面的配置文件写个简单的支持HDFS的配置文件simple_hdfs_example.conf：

port=1463

max_msg_per_second=2000000

check_interval=1

max_queue_size=100000000

num_thrift_server_threads=2

# DEFAULT - write all messages to hadoop

<store>

category=default

target_write_size=20480

type=file

fs_type=hdfs

file_path=hdfs://localhost:9000/scribedata

create_symlink=no

use_hostname_sub_directory=yes

base_filename=thisisoverwritten

max_size=1000000000

rotate_period=100s

add_newlines=1

</store>

<store>

category=qt

target_write_size=20480

type=file

fs_type=hdfs

file_path=hdfs://localhost:9000/scribedata

create_symlink=no

use_hostname_sub_directory=yes

base_filename=thisisoverwritten

max_size=1000000000

rotate_period=100s

add_newlines=1

</store>

2.7到处libhdfs库需要使用的jar路径即CLASSPATH，具体需要哪些不太清楚，官方文档上建议将hadoop/lib目录下所有的库的加入，下面是我导出的：

export CLASSPATH=$CLASSPATH:/xxx/hadoop-0.21.0/hadoop-common-0.21.0.jar:/xxx/hadoop-0.21.0/hadoop-hdfs-0.21.0.jar:/xxx/hadoop-0.20.1+152/contrib/scribe-log4j/hadoop-0.20.1+152-scribe-log4j.jar:/xxx/hadoop-0.21.0/lib/commons-logging-1.1.1.jar:/xxx/hadoop-0.21.0/lib/commons-logging-api-1.1.jar:/xxx/hadoop-0.21.0/lib/core-3.1.1.jar:/xxx/hadoop-0.21.0/lib/log4j-1.2.15.jar

XXX你懂的。

2.8可以执行scribe了， ./scribed ../examples/simple_hdfs_example.conf

2.9通过发送工具发送日志到scribe，echo "Successful write data to HDFS,I am qiutao" | ./scribe_cat qt

3.10在hadoop目录下面执行bin/hadoop dfs -lsr /scribedata即可看到相应的数据生成了。

整个过程确实比较繁琐，尤其要注意2.4，一定要在自己机器上面编译libhdfs库，否则会出现一些莫名其妙的问题，基本上都是抛出的java异常，在这个上面吃了不少亏，终于在自己机器上面写入HDFS了，一步步的也学到了不少东西，留作以后备用。