PHP实现支持中文的字典树

字典树又称单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。

1. 辅助函数，字符串拆分函数，这个是借鉴了网上的函数，支持中文utf-8的字符串

/*
将可能含有中文的字符串进行拆分，如 “我爱北京” 转换成 array("我","爱","北","京")
*/
function str_split_utf8($str)
{
$split = 1;
$array = array();
for ($i = 0; $i < strlen($str);) {
$value = ord($str[$i]);
if ($value > 127) {
if ($value >= 192 && $value <= 223) {
$split = 2;
} elseif ($value >= 224 && $value <= 239) {
$split = 3;
} elseif ($value >= 240 && $value <= 247) {
$split = 4;
}
} else {
$split = 1;
}
$key = null;
for ($j = 0; $j < $split; $j++, $i++) {
$key .= $str[$i];
}
array_push($array, $key);
}
return $array;
}

数组切分函数

/*
切分数组
*/
function retSubArray($array,$start,$end)
{
$retArray = array();
$count = 0;
foreach($array as $v)
{
if($count >= $end) break;
if($count >= $start )
{
$retArray[] = $v;
}
$count++;
}
return $retArray;
}

2. 字典树构建函数
/*
递归的将str_split_utf8生成的数组查到字典树中
*/
function mkMapSub($wordArray, &$mapSubArray)
{
$length = count($wordArray);
if ($length > 0) {
// 取出第一个字
$word = $wordArray[0];
// 查看字典树中是否匹配第一个字,没有的话就插入这个字
if (!isset($mapSubArray[$wordArray[0]])) {
$mapSubArray[$wordArray[0]] = array();
}
if($length == 1)
{// 只有一个字，就插入一个结束标识
$mapSubArray[$wordArray[0] . "end"] = 1;
}
// 已经插入的字出栈
array_shift($wordArray);
// 递归插入
mkMapSub($wordArray, $mapSubArray[$word]);
}
}

3. 查找函数
全词匹配

/*
递归查询词是否在字典树中
*/
function wordInMap($str, &$map)
{
if (count($str) == 1) {
// 一个字的情况
if (isset($map[$str[0]]) && $map[$str[0]] == array())
{
return true;
} else {
if( isset($map[$str[0] . "end"]) && $map[$str[0] . "end"] == 1 )
{
return true;
}
return false;
}
} else {
// 按字递归查找
$word = array_shift($str);
if (isset($map[$word])) {
return wordInMap($str, $map[$word]);
} else {
return false;
}
}
}

句子切词查找

/*
查找一个句子中是否在字典树中有词命中
*/
function longStrInMap($str, &$map)
{
if(wordInMap($str,$map))
{
return array($str);
}
$strArray = str_split_utf8($str);
$length = count($strArray);
$hasList = array();
for ($index = 0; $index < $length; $index++) {
$word = $strArray[$index];
if (isset($map[$word]))
{
//尝试测试子数组
for ($subIndex = $index; $subIndex <= $length; $subIndex++)
{
$subStr = retSubArray($strArray,$index,$subIndex);
if(wordInMap($subStr,$map))
{
$hasList[] = $subStr;
}
}
}
}
$retArray = array();
foreach($hasList as $v)
{
$retArray[] = implode("",$v);
}
return $retArray;
}

4. 入口函数
/*
从源文件中读取数据
*/
$words = array();
$sAllMapDatas = file_get_contents("maplist");
$aAllMapDatas = explode("\n",$sAllMapDatas);
foreach($aAllMapDatas as $vDatas)
{
$words[] = trim($vDatas);
}

// 根据词表建立map
$map = array();
foreach ($words as $vWord) {
$wordArray = str_split_utf8($vWord);
mkMapSub($wordArray, $map);
}