【语言处理与Python】5.7如何确定一个词的分类
2013-05-26 16:35
441 查看
形态学线索
从词的内部结构可能为这个词分类提供有用的线索。
例如:
-ness与形容词结合可能是一个名词;
-ment是与一些动词结合产生一个名词的后缀;
英语的动词也是形态复杂的。
例如:
-ing有可能是现在分词、也有可能是动名词
句法线索
一个词可能出现的典型上下文
例如:
假设我们已经确定了名词类,我们可以说,英语的形容词的句法标准是可以立即出现在一个名词前,或者紧跟在be或者very的后面
语义线索
一个词的意思对其词汇范畴是一个有用的线索。
新词
比如很多的新词都是名词,这些名词属于开放类;
介词被认为是封闭类,因为只有有限的词汇属于这个类别;
词性标记集中的形态学
例如有的词却有不同的形态,在更细粒度的分词上需要注意:
形式 类别 标记
go 基本 VB
goes 第三人称单数 VBZ
gone 过去分词 VBN
going 动名词 VBG
went 一般过去时 VBD
总之,没有一个“正确的方式”来分配标记,只有根据目标不同或多或少有用的方法。
从词的内部结构可能为这个词分类提供有用的线索。
例如:
-ness与形容词结合可能是一个名词;
-ment是与一些动词结合产生一个名词的后缀;
英语的动词也是形态复杂的。
例如:
-ing有可能是现在分词、也有可能是动名词
句法线索
一个词可能出现的典型上下文
例如:
假设我们已经确定了名词类,我们可以说,英语的形容词的句法标准是可以立即出现在一个名词前,或者紧跟在be或者very的后面
语义线索
一个词的意思对其词汇范畴是一个有用的线索。
新词
比如很多的新词都是名词,这些名词属于开放类;
介词被认为是封闭类,因为只有有限的词汇属于这个类别;
词性标记集中的形态学
例如有的词却有不同的形态,在更细粒度的分词上需要注意:
形式 类别 标记
go 基本 VB
goes 第三人称单数 VBZ
gone 过去分词 VBN
going 动名词 VBG
went 一般过去时 VBD
总之,没有一个“正确的方式”来分配标记,只有根据目标不同或多或少有用的方法。
相关文章推荐
- 【语言处理与Python】11.1语料库结构:一个案例研究\11.2语料库生命周期
- python+NLTK 自然语言学习处理八:分类文本一
- 如何用Python处理分类和回归问题?附方法和代码
- 【语言处理与Python】6.2有监督分类的更多例子
- OC运行时语言--如何给一个分类添加属性
- 【语言处理与Python】6.1有监督分类
- python中如何处理一个字符串中的每一个字符
- python+NLTK 自然语言学习处理三:如何在nltk/matplotlib中的图片中显示中文
- 使用Python语言高效地处理一个文本文件
- NLTK:一个先进的用来处理自然语言数据的Python程序
- python+NLTK 自然语言学习处理六:分类和标注词汇一
- 在分类中如何处理训练集中不平衡问题
- 如何使用 epoll? 一个 C 语言实例
- 一个类似Python和Ruby的新型脚本语言(Orange Script)
- 一个python处理dos和unix格式文本的换行的问题
- [Python]网络爬虫(三):异常的处理和HTTP状态码的分类
- 如何使用Kotlin的语言特性创建一个层次分明的URL建造器
- 团队开发中,如何处理一个站点不同Web应用通用Session
- python 如何查看一个变量值中有多少个字符
- knockout里面一个页面需要绑定多个ViewModel如何处理