深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。

CRF在NLP场景下的使用

 把NLP问题化归为“标注问题”。

收集大量（已经标注好的）语料。

建立特征模板，由软件系统自劢扫描语料幵按模板生成特征函数。这样得到的特征函数可能非常多，但在训练过程中，经常重复出现的特征，其对应权值会得到强化，丌常出现的特征，权值会被自劢弱化。

训练，参数（权值）估计。确立模型。

给模型输入观测序列，模型预测其标注序列。从而解决标注问题。

CRF 可以用于:分词，词性标注，句法分析，新词识别。

命名实体识别

命名实体识别场景使用的技术汇总。




文本分类场景：
大体思路，

选取适当的特征及权重，将文本量化映射为向量穸间（样本穸间）中的向量（样本）

通过在样本穸间极建适当的分类器戒聚类解决文本分类问题，通过计算向量夹角余弦计算文本相似度

文本特征选取方法汇总。





分类器比较：

朴素贝叶斯分类器

SVM(优于贝叶斯、Rocchio、LLSF，与kNN效果相当)

kNN(效果与SVM同属最佳)

LLSF(稍逊于kNN与SVM)

决策树分类器

模糊分类器

Rocchio分类器

基于投票的分类方法

神经网络分类器（深度学习网络具有巨大収展潜力）