【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

一、本地部署 & 水平扩展

《1.》开发环境部署

《2.》 单节点，一个节点承担多种角色

《3.》 单机部署多个节点，便于学习了解分布式集群工作机制

《4.》运行Elasticsearch ,需安装并配置JDK

《5.》各个版本对Java的依赖

        ① Elasticsearch 5 需要Java8以上的版本

        ② Elasticsearch从6.5开始支持Java11

        ③ 从7.0开始 ，内置了Java环境

            https://www.elastic.co/cn/support/matrix#matrix_jvm

二、下载和安装

1.下载地址

https://www.elastic.co/cn/downloads/elasticsearch

《1.》支持Docker本地运行

《2.》Helm chart for kubernetes

《3.》Puppet Module

我下载的是windows版本：

2.文件目录结构

3.JVM配置

《1.》修改JVM -config/jvm.options

          7.1下载的默认设置是1GB

《2.》配置的建议

         Xmx和Xms设置成一样

         Xmx不要超过机器内存的50%

         不要超过30GB 【https://www.elastic.co/cn/blog/a-heap-of-trouble】

4.启动单个Elasticsearch实例

cd bin

elasticsearch.bat -E node.name=node0 -E cluster.name=beehive -E path.data=node0_data -d

《1.》下载解压Elasticsearch后执行bin/elasticsearch.bat ,通过 -E设定合适的参数

《2.》访问 http://localhost:9200/ 检查集群的监控状态

《3.》通过 _cat/nodes查看节点

http://localhost:9200/_cat/nodes

5.安装与查看插件

https://www.elastic.co/guide/en/elasticsearch/plugins/current/intro.html

D:\softhan\elasticsearch\elasticsearch\elasticsearch-7.2.0\bin>elasticsearch-plugin.bat install analysis-icu

D:\softhan\elasticsearch\elasticsearch\elasticsearch-7.2.0\bin>elasticsearch-plugin.bat list

还可以这样：http://localhost:9200/_cat/plugins?v

6.如何在开发机上运行多个Elasticsearch实例

elasticsearch.bat -E node.name=node0 -E cluster.name=beehive -E path.data=node0_data -d

elasticsearch.bat -E node.name=node1 -E cluster.name=beehive -E path.data=node1_data -d

elasticsearch.bat -E node.name=node2 -E cluster.name=beehive -E path.data=node2_data -d

elasticsearch.bat -E node.name=node3 -E cluster.name=beehive -E path.data=node3_data -d

[这个没有试验成功！。。。。。。。。。。。。。。。。。。。。。。。。。。]

查看集群状态：http://localhost:9200/_cluster/health

三、Kibana的安装

1.下载

注意：Kibana是基于Elasticsearch运行的，要先启动Elasticsearch。

下载地址：https://www.elastic.co/cn/downloads/kibana

2.配置与运行

① 本机无须修改任何配置，即可以直接运行

② bin/kibana.bat

③ http://localhost:5601

3.导入Sample数据

4.查看Dashboard

5.Kibana Console

《1.》Dev Tool :可以方便的让你再Kibana中执行Elasticsearch的API

6.Kibana Plugins

https://www.elastic.co/guide/en/kibana/current/known-plugins.html

7.汉化

Kibana的汉化，从Kibana 6.8 和 ES 7.0开始支持。

通过在 kibana.yml文件中，增加
i18n.locale: "zh-CN"，就支持中文显示了。

后台运行：

nuhup bin/kibana 或者设置service启动

四、Logstash的安装

下载：https://www.elastic.co/cn/downloads/logstash

参考文档：https://www.elastic.co/guide/en/logstash/current/index.html

下载测试数据：https://grouplens.org/datasets/movielens/

注意事项：

#下载与ES相同版本号的logstash，（7.1.0），并解压到相应目录
#修改movielens目录下的logstash.conf文件
#path修改为,你实际的movies.csv路径
input {
file {
path => "YOUR_FULL_PATH_OF_movies.csv"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}

比如：

input {
file {
path => "D:/softhan/elasticsearch/logstash/ml-latest-small/movies.csv"
start_position => "beginning"
sincedb_path => "D:/softhan/elasticsearch/logstash/ml-latest-small/abc"
}
}
filter {
csv {
separator => ","
columns => ["id","content","genre"]
}

mutate {
split => { "genre" => "|" }
remove_field => ["path", "host","@timestamp","message"]
}

mutate {

split => ["content", "("]
add_field => { "title" => "%{[content][0]}"}
add_field => { "year" => "%{[content][1]}"}
}

#  mutate {

#    gsub => [
#
#      "year", "\\)", ""
#    ]
#  }

mutate {
convert => {
"year" => "integer"
}
strip => ["title"]
remove_field => ["path", "host","@timestamp","message","content"]
}

}
output {
elasticsearch {
hosts => "http://localhost:9200"
index => "movies"
document_id => "%{id}"
}
stdout {}
}

下载的文件：

启动：