ElasticSearch数据导入和搜索的流程简析

数据导入流程

1，原始数据

以Mysql为例，就是一个数据表，表结构如下：

CREATE TABLE `twitter_tweet` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`tweet_id` varchar(200) DEFAULT NULL,
`user_id` varchar(200) CHARACTER SET utf8 DEFAULT NULL,
`user_screen_name` varchar(200) CHARACTER SET utf8 DEFAULT NULL,
`tweet` longtext CHARACTER SET utf8,
PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=latin1;

2，创建映射

ES支持多种数据类型，例如text, keyword, date, long, double, boolean, ip，在创建mapping的时候需要指定每一个field的类型以及对应的分析器。

其中，有一些数据类型不支持分析器，例如keyword, date, long, double等，text(V5版本以上，V2等低版本是string)支持分析器。

"mappings": {
"user": {
"properties": {
"friends_count": {
"type": "integer"
},
"user_created_at": {
"format": "yyyy-MM-dd HH:mm:ss||strict_date_optional_time||epoch_millis",
"type": "date"
},
"user_name": {
"analyzer": "st_chinese",
"type": "text"
},
"user_screen_name": {
"analyzer": "st_chinese",
"type": "text"
},
"favourites_count": {
"type": "integer"
},
"description": {
"analyzer": "st_chinese",
"type": "text"
},
"type": {
"type": "keyword"
},
"is_protected": {
"type": "short"
}
}
}
}

3，分析器

在创建mapping的同时，需要声明分析器，例如中文简繁体、英语时态切词等。

如下图，有两个样例，不同分析器对原始的切词效果不一样，也直接影响存储的大小，影响查询的效率。

4，倒排索引

一个倒排索引由文档中，所有不重复词的词条构成，对于其中每个词，有一个包含它的文档列表，如下图所示。

根据分析器得到的结果，生成倒排索引，倒排索引的存储格式如下图所示。

数据搜索流程

1，分析器

通过搜索词语所在字段指定的分析器，对搜索词语进行切词。

2，倒排索引

通过倒排索引，匹配相关性，按照相关性返回对应的document列表，完成搜索。