用hash表统计文本文件中每个单词出现的频率

闲来无事，敲两行代码解解愁。

今天介绍一种用自已建立的hash表（hash链表）来统计一个输入文本文件中每个单词出现的频率，hash表的构造详见《编程珠玑》第15章。

一、主体思路：

(1)建立一个hash表；

--(a) hash函数：除留取余法，H(key) = key % size；

--(b) 解决冲突的方法：链地址法，将所有映射到相同索引的字符串用链接指针连接在一起。

(2)读取文本文件word.txt，每次读取一行，然后分隔每个单词，插入到hash表，插入过程中会对单词出现次数统计；

(3)将整个hash表内容写到一个文本文件result.txt中。

二、数据结构及算法实现

(1)hash表

--(a) hash表大小(HASHNUMBER)：采用一个大质数作为表的总容量，本例中为HASHNUMBER29989；

#define HASHNUMBER 29989 //散列表的大小，29989为质数。

#define MULT 31 //hash函数的一个乘子。

typedef struct hashnode

{//链表中每个节点的结构

hashnode()

{

word = NULL;

count = 0;

next = NULL;

}

char * word;//单词

int count;//出现频率

struct hashnode *next;//指向链表中具有相同hash值的下个节点

}hashNode,*hashNodePtr
;

hashNodePtr bin[HASHNUMBER] = { NULL};//HASHNUMBER大小的指针数组

作为hash表。

--(b) hash函数：将每个单词映射为一个小于HASHNUMBER的正整数；

unsigned int hashIndex(const char * pWord)//返回hash表索引（即hash指针数组的下标）。

{

assert(pWord != NULL);

unsigned int index = 0; //以下四行为将一个单词映射到一个小于HASHNUMBER的正整数的函数。

for(;*pWord != '/0';pWord++)

index = MULT * index + *pWord;

return index % HASHNUMBER;

}

--(c) 向hash表中插入单词。

void

insertWord
(const
char
* pWord
)//

在hash
表中插入单词，如果已经存在了，则增加单词的出现次数count
。

{

assert
(pWord
!= NULL
);

hashNodePtr
p
;

unsigned
int
index
= hashIndex
(pWord
);//用(b)中的hash函数得到单词在hash表中的下标。

for
(p
=bin
[index
];p
!= NULL
;p
= p
->next
)

{//

查找是否单词已经在hash
表中了。

if
(strcmp
(pWord
,p
->word
) ==
0)

{//

找到，将单词出现次数加.

(p
->count
)++;

return
;

}

}

p
= (hashNodePtr
)malloc
(sizeof
(hashNode
));//hash

表中不存在该单词，创建节点。

p
->count
= 1;//出现次数设置为1。

p
->word
= (char
*)malloc
(strlen
(pWord
)+1);

strcpy
(p
->word
,pWord
);

p
->next
= bin
[index
];//将新生成的节点插入到index为下标的链表中去。

bin
[index
] = p
;

}

(2)读取Data.txt中的单词，并将每个单词插入到(1)中设计好的hash表中。

void

readWordToHashTable
(const
char
*path
)

{//

从文本文件中读取单词，插入到hash
表中。

FILE
*fp
;

char
buf
[1024];//

存储一行字符串。

char
*p
;

fp
= fopen
(path
,"r"
);

if
(fp
== NULL
)

{

printf
("open file error!exit/n"
);

exit
(-1);

}

while
(NULL
!= fgets
(buf
,sizeof
(buf
),fp
))//数据读完，到文本末尾了

{

buf
[strlen
(buf
)-1]
= '/0'
; //

除去单词最后的换行符

//printf("%s/n",buf);

if
(strcmp
(""
,buf
)==0)//blank
line,continue.

continue
;

p
= strtok
(buf
,"'/t',' ','/n'"
);//用strtok函数从一行字符串中分离出每个单词，分隔符设置为（空格、逗号、换行、制表符）。

while
(p
!= NULL
)

{

insertWord
(p
);//

调用insertWord()，向hash
表中插入分隔出来的单词。

p
= strtok
(NULL
,"'/t',' ','/n'"
);

}

}

fclose
(fp
);

}

(3) 将hash表中对每个单词的统计信息写入到文本文件中。

void
writeHashTable
(const
char
*path
)

{//

将结果写到path
中。

FILE
*fp
;

hashNodePtr
p
;

int
i
;

fp
= fopen
(path
,"w"
);

if
(fp
== NULL
)

{

printf
("write file error! exit"
);

exit
(-1);

}

for
(i
=0;i
<HASHNUMBER
;i
++)

{

for
(p
= bin
[i
];p
!= NULL
;p
= p
->next
)

{

fprintf
(fp
,"Index %d:
<%s,%d>"
,i
,p
->word
,p
->count
);

if
(p
->next
== NULL
)

fprintf
(fp
,"/n"
);

}

}

fclose
(fp
);

}

(4)释放hash表中占用的内存

void freeHashTable()//释放hash表所占用内存。

{

int i;

hashNodePtr p,q;

p = q = NULL;

for(i=0;i<HASHNUMBER;i++)

{

p = bin[i];

while(p != NULL)

{

q = p;

p = p->next;

free(q->word);

free(q);

}

}

}

(5)
main函数中。

int
main
(void
)

{

readWordToHashTable
("data.txt"
);

writeHashTable
("result.txt"
);

return
0;

}