Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer
2014-06-25 23:35
357 查看
TokenStream extends AttributeSource implements Closeable:
incrementToken,end,reset,close
Tokenizer直接继承至TokenStream,其输入input是一个reader
TokenFilter也直接继承TokenStream,但input是一个TokenStream。
TokenStreamComponents其实是将tokenizer和tokenfilter包装起来的(也可以只是tokenizer,两个成员叫source和sink),可以setReader,getTokenStream方法返回sink。
Analyzer就是一个TokenStreamComponents的容器,因此需要确定ReuseStrategy,重写createComponents(fieldName,reader)方法,使用时调用tokenStream(fieldName,reader)方法获取TokenStream就可以了。
incrementToken,end,reset,close
Tokenizer直接继承至TokenStream,其输入input是一个reader
TokenFilter也直接继承TokenStream,但input是一个TokenStream。
TokenStreamComponents其实是将tokenizer和tokenfilter包装起来的(也可以只是tokenizer,两个成员叫source和sink),可以setReader,getTokenStream方法返回sink。
Analyzer就是一个TokenStreamComponents的容器,因此需要确定ReuseStrategy,重写createComponents(fieldName,reader)方法,使用时调用tokenStream(fieldName,reader)方法获取TokenStream就可以了。
相关文章推荐
- Lucene分词实现---Analyzer、TokenStream(Token、Tokenizer、Tokenfilter)
- Lucene分词实现---Analyzer、TokenStream(Token、Tokenizer、Tokenfilter)
- Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer
- Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer
- lucene分词器中的Analyzer,TokenStream, Tokenizer, TokenFilter
- lucene中的Token, TokenStream, Tokenizer, Analyzer
- lucene中的Token, TokenStream, Tokenizer, Analyzer
- lucene中的Token, TokenStream, Tokenizer, Analyzer
- lucene中的Token, TokenStream, Tokenizer, Analyzer
- lucene分词器中的Analyzer,TokenStream, Tokenizer, TokenFilter
- Lucene分词实现:Analyzer、TokenStream
- lucene 的分析器(analyzer)与分词器(tokenizer)和过滤器(tokenfilter)
- Lucene 中的Tokenizer, TokenFilter学习
- Lucene中的Tokenizer, TokenFilter学习
- Lucene源码解析--Analyzer之Tokenizer
- Lucene源码解析--Analyzer之Tokenizer
- Lucene分词实现:Analyzer、TokenStream
- Lucene 3.0.0 的TokenStream与Analyzer
- Lucene.net(4.8.0) 学习问题记录二: 分词器Analyzer中的TokenStream和AttributeSource
- Lucene--TokenStream(TokenFilter、Tokenizer)