字符粒度表示用于词性标注

简述

概括来讲，就是把单词的字符序列用CNN来提取特征，与预训练的word2vec一并，用于提升词性标注的效果

文章全名：Learning Character-level Representations for Part-of-Speech Tagging

字符特征

字符特征的提取主要是考虑到字母的大小写、前后缀事实上是传统优化算法用于词性标注任务的重要特征，如果能恰如其分用网络结构表示出来，可能取得更好的效果

类似于单词，每个字母都有一个从one-hot到向量的表示，这是第一层



每个单词可以看成字母的序列，进而可以看成字母序列的ngram，取窗口大小为k，其中的一个ngram可以表示为



一个单词转化成{z1,...,zm,...zM}，经过一层变换后，在M中取最大的，就得到一个单词的最终表示



最后看到的就是下面这个结构：



每一个单词都分别对应一个通过word2vec训练得到的词向量，和一个字符向量，而字符向量不需要预训练

其他部分都遵循了C&W的文章的方法

其他细节

文章只用了4线程的CPU来训练，对硬件要求不高

从结果上看，保持其他设定，对比手工提取前后缀特征，文章的方法有细微的提升；在遇到未登陆词的时候，在不同的语料上互有胜负。但如果彻底不用形态特征，遇到未登陆词时效果就很差了

字符向量相似度最高的词举例：