ElasticSearch 5.0.1 java API操作

ElasticSearch 5.0.1 java API操作 

今天来说下使用ES 5.0.1的API来进行编码。
开始之前，简单说下5.0.1跟之前的几个变化。之前的ES自身是不支持delete-by-query的，也就是通过查询来删除，可以达到批量的效果，是因为刷新的原因，应该够近实时的特性相关。一直是以一个插件的形式存在，到5.0.1时，倒腾了半天，还是官方文档说，已经废掉了这个插件，放到ES Core中来了。这是一个变化，另外，初始化ES client的方式也变化了，这个要吐槽一下，从1.7到2.X，初始化方式改了一遍，从2.X到5.X又变了，让人有点受不了啊！
 
闲话不提，开始。
 
本篇谈到初始化，增，删，改。对于查询，我们用单独一节来说。
 
ES的初始化：
Settings esSettings = Settings.builder()
    .put("cluster.name", clusterName) //设置ES实例的名称
    .put("client.transport.sniff", true) //自动嗅探整个集群的状态，把集群中其他ES节点的ip添加到本地的客户端列表中
    .build();
   
    client = new PreBuiltTransportClient(esSettings);//初始化client较老版本发生了变化，此方法有几个重载方法，初始化插件等。
   
    //此步骤添加IP，至少一个，其实一个就够了，因为添加了自动嗅探配置
    client.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(ip), esPort));
   
对于ES Client，有两种形式，一个是TransportClient，一个是NodeClient。两个的区别为：
TransportClient作为一个外部访问者，通过HTTP去请求ES的集群，对于集群而言，它是一个外部因素。
NodeClient顾名思义，是作为ES集群的一个节点，它是ES中的一环，其他的节点对它是感知的，不像TransportClient那样，ES集群对它一无所知。NodeClient通信的性能会更好，但是因为是ES的一环，所以它出问题，也会给ES集群带来问题。NodeClient可以设置不作为数据节点，在elasticsearch.yml中设置，这样就不会在此节点上分配数据。
如果用ES的节点，大家仁者见仁智者见智，各按所需。
 
现在已经通过TransportClient连接到了集群。下一步就是创建索引，有一个常用的关系型数据库与ES的映射关系：
关系型数据库 -> 索引
关系型数据表 -> 类型
关系型数据项 -> 文档
字段 -> 字段
 
说到索引，简单说下分片(shard)。ES本身是分布式的，所以分片自然而然，它的分片并非将所有的数据都放在一起，以默认的5个主分片为例，ES会将数据均衡的存储到5个分片上，也就是这5个分片的数据并集才是整个数据集，这5个分片会按照一定规则分配到不同的ES Node上。这样的5个分片叫主分片。然后就是从分片，默认设置是一个主分片会有一个从分片，那么就有5个从分片，那么默认配置会产生10个分片（5主5从）就散布在所有的Node上。主分片的个数是索引新建的时候设置的，一经设置，不可改变，因为ES判断一条文档存放到哪个分片就是通过这个主分片数量来控制的。简单来讲，插入的文档号与5取余（实际不是这样实现的，但是也很简单）。检索结果的时候，也是通过这个来确认结果分布的，所以不能改。从分片的数量可以随便改，因为塔是跟主分片关联的。另外，Node节点也可以随时加，而且ES还会在新节点加入之后，重新调整数据分片的分布。
 
新建索引：
client.admin().indices().prepareCreate(indexName).get();
或者
client.admin().indices().prepareCreate(indexName).setSettings(settings).get();
ES是区分大小写的，索引所有数据在进到ES之前，最好都规格化。
setSettings挺有用，比如上面说的设置分片数就是通过这里设置的，参数可以是JSON，也有其他的重载；
这里说下在新建索引的时候配置默认的分词器IK
{"analysis":{"analyzer":{"ik":{"tokenizer":"ik_smart"}}}}
这是我用JSON序列化出来的，红底的ik是我为analyzer设置的名字，通过这个名字在索引和检索的时候，来调用ik分词器。当然，我们打算把IK设置为默认的分词器，可以将ik改为default，这样就不需要在索引和检索的时候指定了，默认的分词器为standardAnalyzer。
 
设置好之后，新建一个Index，可以用Kibana瞧瞧结果：



 

注意，Kibana有个坑，就是用它来分词中文，会有乱码，这个跟ES没关系,用Kibana的结果



 
用FireFox的插件Request的结果，话说Request还是极好用的：



 
有遇到并知道为啥的给指点一下。
 
创建好了索引，接下来就是类型了，创建类型很简单，直接插入一个文档，如果文档所属的类型不存在，则会新建，如果存在，就直接插入。但是在插入文档之前，我们可以对一些预料到的字段或者其他属性进行一个预定义的设置，比如，我在插入文档之前，想让所有的id都是long类型，并且id是要存储并且不需要分析的。（关于字段存储和分析，下回再说）。可以用MappingRequest这个类帮我们达到目的。直接上代码
XContentBuilder builder = XContentFactory.jsonBuilder()
.startObject()
.startObject(type)
.startObject("properties");
JSONObject object = mapping.getJSONObject(i);
builder.startObject(object.getString("fieldName"));
builder.field("type", object.getString("fieldType"));
builder.field("index", "not_analyzed");
builder.field("store", "yes");
builder.endObject();
builder.endObject().endObject().endObject();
PutMappingRequest mappingRequest = Requests.putMappingRequest(index).type(type).source(builder);
client.admin().indices().putMapping(mappingRequest).actionGet();
 
这样就指定好了mapping。
 
那接下来我们添加文档，添加文档可以单条添加，也可以批量添加：
单条添加：
client.prepareIndex(indexName, type)
.setSource(jsonData)
.setId(jsonData.getString(KEY))//自己设置了id，也可以使用ES自带的，但是看文档说，ES的会因为删除id发生变动。
.execute()
.actionGet();
 
批量添加：
BulkRequestBuilder bulkRequestBuilder = client.prepareBulk();
for (int i = 0; i < docData.size(); i++){
bulkRequestBuilder.add(client.prepareIndex(indexName, type).setId(docData.getJSONObject(i).getString("id")).setSource(docData.getJSONObject(i)));
}
BulkResponse bulkResponse = bulkRequestBuilder.execute().actionGet();
bulkRequestBuilder.request().requests().clear();
if (bulkResponse.hasFailures()){
    //TODO:
}
 
删除：
client.prepareDelete(indexName, type, docId).execute().actionGet();
 
更新
UpdateRequest updateRequest = new UpdateRequest();
updateRequest.index(indexName).type(type).id(jsonData.getString("id")).doc(jsonData);
client.update(updateRequest);
 
以上代码都很简单，但都有不少重载，可以先通过一个方法进去，然后研究各个重载是应对什么情况的。
通过上面的编码，就可以在我们的程序中实现ES的初始化，添加文档，删除文档，和更新文档。最后，再说下delete-by-query。
ES提供接口，可以直接删除整个索引
client.admin().indices().delete(new DeleteIndexRequest(indexName)).actionGet();
上面也提到了删除一个文档，但是如果删除整个type呢？es是没有提供整个东西的。因为ES是基于Lucene的，Lucene的核心是文档，一个索引就是一个文件夹，里面存储都是文档，所以没有type的物理概念。ES里面提供了这样一个概念。是一组Field定义相同的文档的集合。那么我们要删除特定的集合的文档，比如一个type下的，怎么做的？Lucene提供了delete by
query的能力，那么，我们就按照这个去做就是了：
 
QueryBuilder builder = QueryBuilders.typeQuery(type);//查询整个type
DeleteByQueryAction.INSTANCE.newRequestBuilder(client).source(indexName).filter(builder).execute().actionGet();
 
好了，最后再提一点，所有的操作之后，都至少要等待1s，因为ES/Lucene是近实时，而不是准实时，索引才做之后，会有默认的刷新时间，之后才可以将更新真正生效。一定要注意这点。