基于hadoop搜索引擎实践——二级索引文件（五）

基于hadoop搜索引擎——二级索引文件
一般生成的倒排表文件会比源文件暂用空间大，主要是倒排表文件所记录的信息比较详细。它记录了所有的索引词记录（TERM_RECORD）信息，对于常见的关键词（TERM），其MULTI_INFO可能包含几万甚至几十万个SINGLE_INFO.
由于倒排表文件很大。系统难以将其在同一时刻全部装入内存；另外一面，用户在查询时只会用到几个TERM及其对应的MULTI_INFO。为了提高查询速度，将倒排文件以Hash表的方式存储在内存中，这样在接受查询TERM的请求时，可以快速返回对应的MULTI_INFO,因此，本系统将倒排表文件划分成若干个字表文件（每个子表文件包含一部分TERM_RECORD），并建立一个描述TERM和其所在子表文件位置的对应关系的索引文件（索引词表）。
1.分割倒排索引文件
为了保证数据分布的均衡性，在分隔倒排表文件时，精良保证字表文件的大小相差不多。为了达到这一目标，利用MapReduce编程模型具有的2阶段性，完成对倒排表文件的分割。
MR程序对数据的处理过程包括Map和Reduce两个阶段。在Map阶段结束后，通过分区（Partition）过程，Mapper发射出来的数据，Partitioner分配至各个Reducer处理。默认情况下，Partitioner将具有相同的key的<key,value>对发送至同一个Reduce函数处理。分割倒排表文件算法的设计思路是改写分布式系统提供的Partitioner函数，令其在洗牌过程中将数据均匀分布给各个Reducer函数，而不是根据key的情况进行分发。Partitiner算法代码如下：

public class SplitFilePartitioner<K, V> extends Partitioner<K, V> {
public static int lastID = 0;
@Override
public int getPartition(K key, V value, int partitionNum) {
this.lastID++;
lastID = (this.lastID % partitionNum);
return lastID;
}
}

2.生成二级索引文件
分割后的倒排字表文件中都互不重复地保存了倒排文件的部分信息。然而，在执行一个查询TERM的命令时，系统并不知道"TERM_RECORD"保存在哪个字表中。因此，需要建立一个索引文件，该文件保存每个TERM与其所在字表（包括在字表中位置）的映射关系，具体格式定义如下：
（1）索引文件（INDEX_FILE）由若干词及其索引信息组成。每个词及其索引信息是由一个索引词（TERM）和该词的索引信息（INDEX_INFO）组成的，其中TERM和INDEX_INFO之间用空格隔开。索引词记录按照顺序最佳的方式存放，之间用制表符分隔，表示格式如下：
TERM+'\t'+INDEX_INFO+'\n';
（2）每个词的索引信息（INDEX_INFO）由子表编号（TABLE_ID），这条索引记录相在该子表中德偏移量（OFFSET）组成，其间用空格隔开。表示如下：
INDEX_INFO=TABLE_ID+空格+OFFSET
代码如下：

public static class TokenIndexMapper extends
Mapper<LongWritable, Text, Text, Text> {

@Override
protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
String line = value.toString();
FileSplit split = (FileSplit) context.getInputSplit();
context.write(new Text(line.split("\t")[0]), new Text(split
.getPath().toString() + " " + key.get()));
}
}

public static class TokenIndexReducer extends
Reducer<Text, Text, Text, Text> {
@Override
protected void reduce(Text key, Iterable<Text> values, Context context)
throws IOException, InterruptedException {
boolean flag = true;
while (values.iterator().hasNext()) {
if (flag) {
context.write(key, values.iterator().next());
flag = false;
}else{
values.iterator().next();
}
}
}
}

在经过过滤源文件数据，建立倒排表文件，生成二级索引文件等一系列工作之后，整个系统的核心离线工作部分就全部完成了。此后，每当从前台接收到一个TERM查询时，本系统首先从索引文件（INDEX_FILE）中找出这个TERM保存在什么子表的位置（INDEX_INFO）；然后打开对应的子表文件并定位相应的位置，读出这个TERM及其对应的MULTI_INFO;最后分析MULTI_INFO中每个SINGLE_INFO的信息，从过滤后的源文件（FlITERED_SOURCE_FILE）中找出相应的帖子信息返回即可。

具体实现代码可以查看：
离线处理程序：http://download.csdn.net/detail/long1657/8059593
在线处理程序：http://download.csdn.net/detail/long1657/8059567

参考文献：
1.刘鹏，hadoop实战，电子工业出版社，2011.9