针对特定XML的解析器XMLParser

一、建立网页库和偏移文件

为文本搜索引擎建立网页库，首先要把所有的网页（这里是文章）格式化，并保存到指定的格式中。如以下格式：
|
| <doc>
| <docid>...</docid>
| <url>...</url>
| <title>...</title>
| <content>...</content>
| </doc>
| <doc>
| ...
| </doc>
| ...

其中<doc>……</doc>保存着一篇文章；<docid>...</docid> 保存文档id；<url>...</url>保存文本路径；<content>...</content> 保存文章内容。

如何生成这样的格式呢？对每一篇文章使用以下方法：

首先从文章中提取标题 title;以及获得文章的路径，然后用字符串拼接，拼接成上述格式。

std::ofstream ofs("pages.lib",std::ios::out)；//打开网页库
std::ofstream out("offset.lib",std::ios::out); //打开偏移文件
string txt = "<doc><docid>" + docid + "</docid>" + "<url>" + url + ... + "</doc>";
ofs << txt; 　　　　//写到文件流
int offset = ofs.tellg();// offset 获得当前指针的位置 ,tellg()和tellp()是C++文件流操作中获得流指针的函数
int length = txt.size();//length
out<<docid<<" "<<offset<<""<<length<<endl;//将这片文章的起始位置和偏移量写到偏移文件中，便于后面从网页库中读出一篇网页

循环对所有文章执行上面的操作，就得到一个网页库和一个偏移文件。

二、解析网页

根据偏移文件，从网页库中读出一篇网页，接着对网页库中的docid,title,url进行解析。

以下是解析器的代码：

#ifndef _XMLPARSER_HPP
#define _XMLPARSER_HPP
#include <stdio.h>
#include <utility>
#include <string>
#include <stdlib.h>
using namespace std;
class XMLParser
{
public:
XMLParser(string & page)
:page_(page)
{}
string parser(string tag)
{
string ltag,rtag;
ltag = "<"+tag+">";        //拼接左标签
rtag = "</"+tag+">";    //拼接右标签
string str;
//pair<string,string> pr;
string::size_type bpos;
string::size_type epos;
string::size_type len;
//确定字符串范围
bpos = page_.find(ltag);//查找作标签下标
epos = page_.find(rtag);//查找右标签下标
bpos+=ltag.size();
len = epos - bpos;        //计算标签包含内容长度
if(bpos==page_.npos||epos==page_.npos)
{
printf("No such tag: %s \n",tag.c_str());
exit(-1);
}
if(bpos==epos)
{
printf("标签内容不存在\n");
exit(-1);
}

string content = page_.substr(bpos+1,len-2);//截取标签包含内容
#if 0
if(content[content.size()-1]=='\n')
content[content.size()-1]=='\0';
if(content[content.size()-2]=='\n')
content[content.size()-2]=='\0';
if(content[content.size()-3]=='\n')
content[content.size()-3]=='\0';
#endif
//pr.first = tag;
//pr.second = content;
//return pr;    //最好使用std::move，减少复制
return content;
}
private:
string &page_;    //使用引用，避免大复制
};
#endif

解析器每次只能传入一个标签，并且返回标签对应的内容，要对所有标签进行解析，那么就要多次调用parser()。当然，对于一篇文章，就对应一个解析器对象，parser()是对外的一个函数，接收标签，并从对象中解析出便签包含的内容。也就是说，创建一个对象可以对这个对象调用多次parser(string tag)对文章进行解析。

三、解析器的使用

首先要有一个加载偏移文件的工具，这里写了一个工具PageOffset.hpp

（代码折叠）代码如下：

#ifndef _PAGEOFFSET_HPP
#define _PAGEOFFSET_HPP

#include <fstream>
#include <sstream>
#include <vector>
#include <string>
#include <utility>
#include <stdlib.h>
#include <stdio.h>
using namespace std;

class PageOffset
{
public:
PageOffset(string &path)
{
ifstream ifs(path.c_str(),ios::in);
string line;
string str;
pair<int,int> p1;
pair<int ,pair<int ,int > > p2;
while(getline(ifs,line),!ifs.eof())
{
istringstream iss(line);
int pos = 0;
while(iss>>str)
{
if(pos == 0)
{
p2.first = atoi(str.c_str());
}
else if(pos == 1)
{
p1.first = atoi(str.c_str());
}
else if(pos == 2)
{
p1.second = atoi(str.c_str());
p2.second = p1;
}
pos++;
}
offset.insert(p2);
}
ifs.close();
}

pair<int ,int > &operator[](int docid)
{
return offset[docid];
}

size_t size() const
{
return offset.size();
}
private:
map<int,pair<int,int> > offset;
};
#endif

View Code
测试程序代码如下：

#include "XMLParser.hpp"
#include "PageOffset.hpp"
#include <fstream>
#include <cstring>
#include <string>
#include <utility>
using namespace std;
int main()
{
ifstream ifs("pages.lib",ios::in);
PageOffset pageoffset("offset.lib");
char *buf = new char[1024*1024];                //开缓存空间
pair<int,int> page =(pageOffset)[vec[i]];        //从偏移文件中提取文档相应的offset与size,读出一篇文章
ifs.seekg(page.first,ios::beg);                    //定位文件起始位置
memset(buf,0,1024*1024);
ifs.read(buf,page.second);                        //读取一篇文档
string str(buf);                                //C风格的字符串转化为C++风格的字符串
XMLParser xmlparser(str);                        //将文章加入解析器，初始化一个解析器对象
string title = xmlparser.parser("title");        //解析标题
string url = xmlparser.parser("url");            //解析url
string content = xmlparser.parser("content");    //解析内容
delete []buf;                                    //释放缓存空间，防止内存泄露
return 0;
}

以上是针对特定格式的文本库进行解析。因此不能给适用于多种场合。