使用K近邻算法实现手写体识别系统

目录

1. 应用介绍

1.1实验环境介绍

1.2应用背景介绍

2. 数据来源及预处理

2.1数据来源及格式

2.2数据预处理

3. 算法设计与实现

3.1手写体识别系统算法实现过程

3.2 K近邻算法实现

3.3手写体识别系统实现

3.4算法改进与优化

4. 系统运行过程与结果展示

1.应用介绍

1.1实验环境介绍

本次实验主要使用Python语言开发完成，Python的版本为2.7，并且使用numpy函数库做一些数值计算和处理。

1.2应用背景介绍

本次实验实现的是简易的手写体识别系统，即根据用户输入的手写体照片可以识别出手写体数字是多少。本次输入的手写体是用0,1数字拼成的手写体数字。本次完成手写体的识别使用K近邻算法，k近邻算法设计简单，容易实现，且对特定的问题分类的效果也比较好。因此本次实验选择k近邻来对手写体进行分类和识别，也是对手写体图片特征数据的挖掘过程。

2.数据来源及预处理

2.1数据来源及格式

该数据集合修改自“手写数字数据集的光学识别” 一文中的数据集合，该文登载于2010年10月3日的UCI资料库中http://archive.ics.uci.edu/ml。

为了简单起见，这里构造的系统只能识别数字0到9。需要识别的数字已经使用图形处理软件，处理成具有相同的色彩和大小: 宽髙是32像素*32像素的黑白图像。尽管采用文本格式存储图像不能有效地利用内存空间，但是为了方便理解，我们还是将图像转换为文本格式。









图：数据源：手写体数据格式

2.2数据预处理

首先将图像转换为测试向量，本次实验大约使用了2000个例子，每个例子的内容如上图所示，每个数字大约有200个样本；目录testDigits中包含了大约900个测试数据。我们使用目录trainingDigits中的数据训练分类器，使用目录testDigits中的数据测试分类器的效果。两组数据没有覆盖。部分数据如下：





图：数据目录
这里将图像格式化处理为一个向量。把一个32*32的二进制图像矩阵转换为1 x 1024的向量，这样前两节使用的分类器就可以处理数字图像信息了。

首先编写一段函数img2vector将图像转换为向量：该函数创建1*1024的Numpy数组，然后打开给定的文件，循环读出文件的前32行，并将每行的头32个字符值存储在Numpy数组中，最后返回数组。

3. 算法设计与实现

3.1手写体识别系统算法实现过程

(1)收集数据：提供文本文件。

(2)准备数据：编写函数clasify0()，将图像格式转换为分类器使用的list格式。

(3)分析数据：在python命令提示符中检查数据，确保它符合要求。

(4测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。

3.2 K近邻算法实现

K近邻算法的实现过程是：

(1)计算已知类别数据集中的点与当前点之间的距离；

(2)按照距离递增次序排序；

(3)选取与当前点距离最小的k个点；

(4)确定前k个点所在类别的出现频率；

(5)返回前k个点出现频率最高的类别作为当前点的预测分类。

本系统在classify0函数中实现了k近邻算法。



classifyO ()函数有4个输人参数:用于分类的输人向量是inX，输人的训练样本集为dataSet

标签向量为labels，最后的参数义表示用于选择最近邻居的数目，其中标签向量的元素数目和矩阵dataSet的行数相同。程序使用欧氏距离公式，计算两个向量点xA和xB之间的距离。

计算完所有点之间的距离后，可以对数据按照从小到大的次序排序。然后，确定前k个距离

最小元素所在的主要分类，输人k总是正整数；最后，将classCount字典分解为元组列表，然后使用程序第二行导入运算符模块的itemgetter方法，按照第二个元素的次序对元组进行排序。此处的排序为逆序，即按照从最大到最小次序排序，最后返回发生频率最高的元素标签。

3.3手写体识别系统实现

系统需要调用img2vector做数据预处理，然后调用classify0做分类，最后将对测试集分类的结果输出，并计算错误率。在实现中需要从os中导入listdir，可以列出给定目录的文件名。

将trainingDigits目录中的文件内容存储在列表中。然后可以得到目录中有多少文件，并将其存储在变量m中。接着，代码创建一个m行1024列的训练矩阵，该矩阵的每行数据存储一个图像。我们可以从文件名中解析出分类数字。该目录下的文件按照规则命名，如文件

9_45.txt的分类是9，它是数字9的第45个实例。

3.4算法改进与优化

改变变量k的值、修改函数handwritingClassTest随机选取训练样本、改变训练样本的数目，都会对k近邻算法的错误率产生影响。

实际使用这个算法时，算法的执行效率并不高。因为算法需要为每个测试向量做2000次距离计算，每个距离计算包括了1024个维度浮点运算，总计要执行900次，此外，我们还需要为测试向量准备2 M B的存储空间。因此可以使用其他的算法做一些改进和优化。

4. 系统运行过程与结果展示

本次实验使用Python自带的ide编辑代码，之后直接调用相应的函数运行即可，程序输入是trainingDigits和testDigits中的手写体数据集。输出是对测试集识别的结果及正确的结果和最终识别的错误率。

（1）设定k值为3，运行过程及结果如下：









最终识别的错误率为1.2%。

（2）改变K值大小，设为6，运行过程及结果如下：



最终的错误率是2.0%，即随着k值的增大错误率在增加。

（3）改变k值大小，设定为2，运行结果如下：



最终的错误率是1.4%，错误率增加了。

因此选择合适的k值可以有效的降低错误，提高识别的正确率。