14_ElasticSearch 使用most_fields策略进行cross-fields search
2018-03-22 07:12
537 查看
ElasticSearch使用most_fields策略进行cross-fields search
更多干货
分布式实战(干货)spring cloud 实战(干货)
mybatis 实战(干货)
spring boot 实战(干货)
React 入门实战(干货)
构建中小型互联网企业架构(干货)
python 学习持续更新
ElasticSearch 笔记
概述
cross-fields搜索,一个唯一标识,跨了多个field。比如一个人,标识,是姓名;一个建筑,它的标识是地址。姓名可以散落在多个field中,比如first_name和last_name中,地址可以散落在country,province,city中。
跨多个field搜索一个标识,比如搜索一个人名,或者一个地址,就是cross-fields搜索
初步来说,如果要实现,可能用most_fields比较合适。因为best_fields是优先搜索单个field最匹配的结果,cross-fields本身就不是一个field的问题了。
存在的问题:
只是找到尽可能多的field匹配的doc,而不是某个field完全匹配的docmost_fields,没办法用minimum_should_match去掉长尾数据,就是匹配的特别少的结果
TF/IDF算法,比如Peter Smith和Smith Williams,搜索Peter Smith的时候,由于first_name中很少有Smith的,所以query在所有document中的频率很低,得到的分数很高,可能Smith Williams反而会排在Peter Smith前面
例子
增加属性:author_first_name、author_last_namePOST /forum/article/_bulk { "update": { "_id": "1"} } { "doc" : {"author_first_name" : "Peter", "author_last_name" : "Smith"} } { "update": { "_id": "2"} } { "doc" : {"author_first_name" : "Smith", "author_last_name" : "Williams"} } { "update": { "_id": "3"} } { "doc" : {"author_first_name" : "Jack", "author_last_name" : "Ma"} } { "update": { "_id": "4"} } { "doc" : {"author_first_name" : "Robbin", "author_last_name" : "Li"} } { "update": { "_id": "5"} } { "doc" : {"author_first_name" : "Tonny", "author_last_name" : "Peter Smith"} }most_fields方式实现查询:
GET /forum/article/_search { "query": { "multi_match": { "query": "Peter Smith", "type": "most_fields", "fields": [ "author_first_name", "author_last_name" ] } } }查询结果:
{ "took": 2, "timed_out": false, "_shards": { "total": 5, "successful": 5, "failed": 0 }, "hits": { "total": 3, "max_score": 0.6931472, "hits": [ { "_index": "forum", "_type": "article", "_id": "2", "_score": 0.6931472, "_source": { "articleID": "KDKE-B-9947-#kL5", "userID": 1, "hidden": false, "postDate": "2017-01-02", "tag": [ "java" ], "tag_cnt": 1, "view_cnt": 50, "title": "this is java blog", "content": "i think java is the best programming language", "sub_title": "learned a lot of course", "author_first_name": "Smith", "author_last_name": "Williams" } }, { "_index": "forum", "_type": "article", "_id": "1", "_score": 0.5753642, "_source": { "articleID": "XHDK-A-1293-#fJ3", "userID": 1, "hidden": false, "postDate": "2017-01-01", "tag": [ "java", "hadoop" ], "tag_cnt": 2, "view_cnt": 30, "title": "this is java and elasticsearch blog", "content": "i like to write best elasticsearch article", "sub_title": "learning more courses", "author_first_name": "Peter", "author_last_name": "Smith" } }, { "_index": "forum", "_type": "article", "_id": "5", "_score": 0.51623213, "_source": { "articleID": "DHJK-B-1395-#Ky5", "userID": 3, "hidden": false, "postDate": "2017-03-01", "tag": [ "elasticsearch" ], "tag_cnt": 1, "view_cnt": 10, "title": "this is spark blog", "content": "spark is best big data solution based on scala ,an programming language similar to java", "sub_title": "haha, hello world", "author_first_name": "Tonny", "author_last_name": "Peter Smith" } } ] } }查询结果的排序 不是我们想要的。
Peter Smith,匹配author_first_name,匹配到了Smith,这时候它的分数很高,为什么。
因为IDF分数高,IDF分数要高,那么这个匹配到的term(Smith),在所有doc中的出现频率要低,author_first_name field中,Smith就出现过1次
Peter Smith这个人,doc 1,Smith在author_last_name中,但是author_last_name出现了两次Smith,所以导致doc 1的IDF分数较低
更多相关文章
ElasticSearch 笔记1_ElasticSearch使用term filter来搜索数据
2_ElasticSearch filter执行原理 bitset机制与caching机制
3_ElasticSearch 基于bool组合多个filter条件来搜索数据
4_ElasticSearch 使用terms搜索多个值
5_ElasticSearch 基于range filter来进行范围过滤
6_ElasticSearch 控制全文检索结果的精准度
7_ElasticSearch term+bool实现的multiword搜索原理
8_基于boost的搜索条件权重控制
9_ElasticSearch 多shard场景下relevance score不准确
10_ElasticSearch dis_max实现best fields策略进行多字段搜索
11_ElasticSearch 基于tie_breaker参数优化dis_max搜索效果
12_ElasticSearch multi_match语法实现dis_max+tie_breaker
日志管理ELK
相关文章推荐
- Elasticsearch-best_fileds和most_fields策略分析以及cross-fields弊端的解决
- elasticsearch best_fields most_fields cross_fields从内在实现看区别——本质就是前两者是以field为中心,后者是词条为中心
- 13_ElasticSearch multi_match+most fiels策略进行multi-field搜索
- 15_ElasticSearch copy_to定制组合field进行cross-fields搜索
- SpringCloud(第 007 篇)电影微服务,使用定制化 Ribbon 在客户端进行负载均衡,使用 RibbonClient 不同服务不同配置策略
- 16_ElasticSearch 使用原生cross-fiels 查询
- LDAP基础:6:使用ldapsearch进行数据查询
- 使用Boost Regex 的regex_search进行遍历搜索
- Elasticsearch简单使用系列--使用Java API进行CRUD操作
- SpringBoot项目通过 spring data elasticsearch使用elasticsearch
- ElasticSearch学习13_ElasticSearch RESTful搜索引擎_Java Jest使用入门
- 使用boost::regex_search进行字符串提取
- 使用weka进行Cross-validation实验
- [读书笔记] 《Python 机器学习》 - 使用RandomParameterOpt与GridSearch进行超参调整
- Elasticsearch简单使用系列--使用Rest API进行CRUD操作
- Elasticsearch源码分析之一——使用Guice进行依赖注入与模块化系统
- Elasticsearch简单使用系列--使用Java API进行CRUD操作
- 认识ElasticSearch的API,并深入Search的使用
- ElasticsearchCRUD使用(十八)【进行MVC搜索Elasticsearch高亮】
- ElasticSearch源码分析之一:使用Guice进行依赖注入与模块化系统