NLP入门实验

[1] 什么是 NLP(自然语言处理)

[2] 为什么要写博客

入手差不多有一个月，算是有点了解。前期总想着把自己一步步获取的知识写下来，用以作为知识路线为以后的深造指明方向。先，把前期做的几个小实验总结一下

[3] 内容摘要

这里只有简单的几个小实验，如果你想入门 NLP。建议看一下去搜一下，CSDN 中就有好多资料。这里可以帮你在刚刚入门后，自己动动手。当然，有一定基础的可以根据这几个实验入门 NLP。（实验非常简单，不懂的搜一搜就入门了）时间宝贵，决定去留吧！【不希望，你看后没有一点收获】

实验一：中文分词

语料：北大的人民日报语料。人民日报语料

要求：训练北大人民日报的语料，利用 正向最大匹配法 实现中文分词。（最简单的分词方法）详见如下





代码参考

ps：这只是一个简单的分词练习，现在有好多利用机器学习的方法来解决分词问题的。现在基于字标注的方法效果比较好（crf）

实验二：词性标注

语料：北大的人民日报语料。人民日报语料

要求：训练北大人民日报的语料，基于 HMM 实现词性标注。（提示：viterbi 动态规划算法）

代码参考

实验三：信息检索（布尔查询及VSM查询）

要求：详见如下



ps：注意这里的实验与 NLP 有点差异，但是也可以看做入门知识吧！

代码参考

ps：这里的代码并没有局限于实验要求，而是做了一个小型的检索引擎。

ps：关于搜索引擎的目前 google 等在完善语义搜索

实验四：基于LM（语言模型）的检索

要求：详见如下（只是下面的第二问）



代码参考

ps：该实验有点统计模型的思想，涉及到统计模型你就应该想到机器学习了吧！

感谢：实验内容由谭老师提供，感谢！

接下来要总结自己的入门路线了，奋斗ing 。。。