浅析过滤敏感词过滤算法(C++)

本文转自浅析敏感词过滤算法(C++)，自己也在其基础上根据自己的情况做了一点修改。

为了提高查找效率，这里将敏感词用树形结构存储，每个节点有一个map成员，其映射关系为一个string对应一个WordNode。

比如敏感词库里面有枪手、手枪、枪支弹药这几个词，读入后就变成了如下图所示的树状结构。



STL::map是按照operator<比较判断元素是否相同，以及比较元素的大小，然后选择合适的位置插入到树中。

下面主要实现了WordNode类，进行节点的插入以及查询。

WordNode.h

class WordNode
{
private:
friend class WordTree;
typedef map<string, WordNode> _TreeMap;
typedef map<string, WordNode>::iterator _TreeMapIterator;

string m_character;
_TreeMap m_map;
WordNode* m_parent;

public:
WordNode(string character);
WordNode(){
m_character = "";
};
string getCharacter() const{ return m_character; };
WordNode* findChild(string& nextCharacter);
WordNode* insertChild(string& nextCharacter);
};

WordNode.cpp

WordNode::WordNode(string character){
if (character.size() == PACE)
{
m_character.assign(character);
}
else
cout << "error" << endl;
}

WordNode* WordNode::findChild(string& nextCharacter){
_TreeMapIterator TreeMapIt = m_map.find(nextCharacter);
if (TreeMapIt == m_map.end())
{
return NULL;
}
else
{
return &TreeMapIt->second;
}
}

WordNode* WordNode::insertChild(string& nextCharacter){
if (!findChild(nextCharacter))
{
m_map.insert(pair<string,WordNode>(nextCharacter, WordNode(nextCharacter)));
return &(m_map.find(nextCharacter)->second);
}
return NULL;
}

另外，

#define PACE 1

这里的PACE原本是2，因为一个GBK汉字占两个字符，而且原文中也说了如果需要考虑英文或中英文结合的情况，将PACE改为１。

不过我试过之后，觉得不管是中文、英文还是中英文，PACE为 1 都适用，结果都没错，只不过中文的情况下每个节点的string都不再是一个完整的汉字，而是汉字的一个字符。

接下来实现这个tree，在建立WordNode树时，以parent为根节点建立，一开始parent为m_emptyRoot，然后keyword按照规则添加到树中，假设一开始m_emptyRoot为空，keyword为”敏感词”，则会以”敏感词”为一条分支建立成为一颗树枝’敏’->’感’->’词’,此后，若想再添加”敏感度”，由于”敏感词”与”敏感度”的前两个字相同，则会在’敏’->’感’->’词’的基础上，从字’感’开始新生长出一颗分支，即’敏’->’感’->’度’,这两颗分支共用’敏’->’感’。

下面代码实现了WordTree类，进行树的构成及查询。

WordTree.h

class WordTree
{
public:
int count;
WordNode* insert(string &keyword);
WordNode* insert(const char* keyword);
WordNode* find(string& keyword);
WordTree(){ count = 0; };

private:
WordNode m_emptyRoot;
int m_pace;
WordNode* insert(WordNode* parent, string& keyword);
WordNode* insertBranch(WordNode* parent, string& keyword);
WordNode* find(WordNode* parent, string& keyword);
};

WordTree.cpp

WordNode* WordTree::insert(string &keyword){
return insert(&m_emptyRoot, keyword);
}

WordNode* WordTree::insert(const char* keyword){
string wordstr(keyword);
return insert(wordstr);
}

WordNode* WordTree::find(string& keyword){
return find(&m_emptyRoot,keyword);
}

WordNode* WordTree::insert(WordNode* parent, string& keyword){
if (keyword.size() == 0)
{
return NULL;
}
string firstChar = keyword.substr(0, PACE);
WordNode* firstNode = parent->findChild(firstChar);
if (firstNode == NULL)
{
return insertBranch(parent,keyword);
}
string restChar = keyword.substr(PACE, keyword.size());
return insert(firstNode, restChar);
}

WordNode* WordTree::insertBranch(WordNode* parent, string& keyword){
string firstChar = keyword.substr(0, PACE);
WordNode* firstNode = parent->insertChild(firstChar);
if (firstNode != NULL)
{
string restChar = keyword.substr(PACE, keyword.size());
if (!restChar.empty())
{
return insertBranch(firstNode, restChar);
}
}
return NULL;
}

WordNode* WordTree::find(WordNode* parent, string& keyword){
string firstChar = keyword.substr(0, PACE);
WordNode* firstNode = parent->findChild(firstChar);
if (firstNode==NULL)
{
count = 0;
return NULL;
}
string restChar = keyword.substr(PACE, keyword.size());
if (firstNode->m_map.empty())
{
return firstNode;
}
if (keyword.size()==PACE)
{
return NULL;
}
count++;
return find(firstNode, restChar);
}

最后就是利用上述的Tree来实现敏感词过滤，WordFilter::censor(string &source) 函数用来进行敏感词过滤，source即输入的字符串，如果source包含敏感词，则用“**”替代掉。

WordFilter::load(const char* filepath) 函数通过文件载入敏感词，并构建WordTree，这里我用的是txt文件。

下面实现了WordFilter类。

WordFilter.h

class WordFilter
{
public:
static WordFilter* pInstace;
static WordFilter* sharedInstace();
static void release();
private:
WordTree m_tree;

public:
void load(const char* filepath);
void censor(string &source);
};

WordFilter.cpp

WordFilter* WordFilter::sharedInstace(){
if (pInstace)
{
return pInstace;
}
pInstace = new WordFilter;
return pInstace;
}
void WordFilter::release(){
if (pInstace)
{
delete pInstace;
}
pInstace = NULL;
}

void WordFilter::load(const char* filepath){
ifstream infile(filepath, ios::in);

if (!infile)
{
cout << "open file error" << endl;
}
else
{
cout << "open file succeed" << endl;
string read;
while (getline(infile, read))
{
#if (CC_TARGET_PLATFORM == CC_PLATFORM_ANDROID || CC_TARGET_PLATFORM == CC_PLATFORM_IOS)
string s;
s = read.substr(0, read.length() - 1);
m_tree.insert(s);
#endif
}
}

infile.close();
}

void WordFilter::censor(string &source){
int lenght = source.size();
for (int i = 0; i < lenght; i += 1)
{
string substring = source.substr(i, lenght - i);
if (m_tree.find(substring) != NULL)
{
source.replace(i, (m_tree.count+1), "**");
lenght = source.size();
cout << "source = " <<  source << endl;
}
}
}

这里说明一点，本人是做Cocos2d-x手游客户端开发的，程序是要移植到安卓或者iOS平台上。当逐行读取txt文件中的敏感词并构成树的时候，getline(infile, read)函数得到的read字符串后面带有结束符，比如“枪手\0”，这时跟我们需要检测的字符串“…枪手…”就明显不符合，这是检测不出来的。这种情况我现在只知道在安卓或者iOS平台存在，而在windows环境下VS中是不会出现这种问题的。所以我对读取到的字符串做了处理，把最后一个字符也就是结束符去掉，再进行下一步操作。