SolrCloud 集群搭建
2017-01-07 12:34
381 查看
什么是SolrCloud
什么是SolrCloud?SolrCloud(solr 云)是Solr提供的可以解决大规模,容错,分布式索引和检索的搜索方案。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。
SolrCloud是基于Solr和Zookeeper的分布式搜索方案,使用Zookeeper作为集群的配置信息中心。
它有几个特色功能:
1)集中式的配置信息
2)自动容错
3)近实时搜索
4)查询时自动负载均衡
zookeeper是个什么东东?
顾名思义zookeeper就是动物园管理员,他是用来管hadoop(大象)、Hive(蜜蜂)、pig(小猪)的管理员, Apache Hbase和 Apache Solr 的分布式集群都用到了zookeeper;Zookeeper:是一个分布式的、开源的程序协调服务,是hadoop项目下的一个子项目。
SolrCloud结构
SolrCloud为了降低单机的处理压力,需要由多台服务器共同来完成索引和搜索任务。实现的思路是将索引数据进行Shard(分片)拆分,每个分片由多台的服务器共同完成,当一个索引或搜索请求过来时会分别从不同的Shard的服务器中操作索引。SolrCloud需要Solr基于Zookeeper部署,Zookeeper是一个集群管理软件,由于SolrCloud需要由多台服务器组成,由zookeeper来进行协调管理。下图是一个SolrCloud应用的例子:
对上图进行图解,如下:
物理结构
三个Solr实例( 每个实例包括两个Core),组成一个SolrCloud。
逻辑结构
索引集合包括两个Shard(shard1和shard2),shard1和shard2分别由三个Core组成,其中一个Leader两个Replication,Leader是由zookeeper选举产生,zookeeper控制每个shard上三个Core的索引数据一致,解决高可用问题。
用户发起索引请求分别从shard1和shard2上获取,解决高并发问题。
Collection
Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard(分片),它们使用相同的配置信息。
比如:针对商品信息搜索可以创建一个collection。
collection=shard1+shard2+….+shardX
Core
每个Core是Solr中一个独立运行单位,提供 索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。
Master或Slave
Master是master-slave结构中的主结点(通常说主服务器),Slave是master-slave结构中的从结点(通常说从服务器或备服务器)。同一个Shard下master和slave存储的数据是一致的,这是为了达到高可用目的。
Shard
Collection的逻辑分片。每个Shard被化成一个或者多个replication,通过选举确定哪个是Leader。
搭建SolrCloud集群
我采用伪集群的方式进行安装,如果是真正的生产环境,将伪集群的ip改下就可以了,步骤是一样的。SolrCloud结构图如下:
环境准备
1)需要一个linux环境(我使用的是虚拟机)
2)tomcat
3)jdk
4)zookeeper
5)solr,IKAnalyzer中文分词器
linux,jdk请自行安装。
zookeeper集群的安装
第一步:解压zookeeper,tar -zxvf zookeeper-3.4.6.tar.gz将zookeeper-3.4.6拷贝到/usr/local/solrcloud下,复制三份分别并将目录名改为zookeeper1、zookeeper2、zookeeper3
第二步:进入zookeeper1文件夹,创建data目录。并在data目录中创建一个myid文件内容为“1”(echo 1 >> data/myid)。
第三步:进入conf文件夹,把zoo_sample.cfg改名为zoo.cfg
第四步:修改zoo.cfg。
修改:
dataDir=/usr/local/solrcloud/zookeeper1/data
clientPort=2181(zookeeper2中为2182、zookeeper3中为2183)
添加:
server.1=192.168.25.150:2881:3881
server.2=192.168.25.150:2882:3882
server.3=192.168.25.150:2883:3883
修改完之后zoo.cfg文件是下面这样的:
第五步:对zookeeper2、3中的设置做第二步至第四步修改。
zookeeper2:
myid内容为2
dataDir=/usr/local/solrcloud/zookeeper2/data
clientPort=2182
Zookeeper3:
的myid内容为3
dataDir=/usr/local/solrcloud/zookeeper3/data
clientPort=2183
第六步:启动三个zookeeper
/usr/local/solrcloud/zookeeper1/bin/zkServer.sh start
/usr/local/solrcloud/zookeeper2/bin/zkServer.sh start
/usr/local/solrcloud/zookeeper3/bin/zkServer.sh start
查看集群状态:
/usr/local/solrcloud/zookeeper1/bin/zkServer.sh status
/usr/local/solrcloud/zookeeper2/bin/zkServer.sh status
/usr/local/solrcloud/zookeeper3/bin/zkServer.sh status
第七步:开启zookeeper用到的端口,或者直接关闭防火墙。
service iptables stop
tomcat安装
第一步:将apache-tomcat-7.0.47.tar.gz解压
tar -zxvf apache-tomcat-7.0.47.tar.gz
第二步:把解压后的tomcat复制到/usr/local/solrcloud/目录下复制四份。
/usr/local/solrcloud/tomcat1
/usr/local/solrcloud/tomcat2
/usr/local/solrcloud/tomcat3
/usr/local/solrcloud/tomcat4
第三步:修改tomcat的server.xml
vim tomcat2/conf/server.xml,把其中的端口后都加一。保证两个tomcat可以正常运行不发生端口冲突。
solr单机部署
1)下载
从Solr官方网站(http://lucene.apache.org/solr/ )下载Solr4.10.3,根据Solr的运行环境,Linux下需要下载lucene-4.10.3.tgz,windows下需要下载lucene-4.10.3.zip。
Solr使用指南可参考:https://wiki.apache.org/solr/FrontPage。
下载lucene-4.10.3.zip并解压:
bin:solr的运行脚本
contrib:solr的一些贡献软件/插件,用于增强solr的功能。
dist:该目录包含build过程中产生的war和jar文件,以及相关的依赖文件。
docs:solr的API文档
example:solr工程的例子目录:
example/solr:
该目录是一个包含了默认配置信息的Solr的Core目录。
example/multicore:
该目录包含了在Solr的multicore中设置的多个Core目录。
example/webapps:
该目录中包括一个solr.war,该war可作为solr的运行实例工程。
licenses:solr相关的一些许可信息。
2)solr单机部署
第一步:把solr的压缩包上传到服务器。并解压。
第二步:把/root/solr-4.10.3/dist/solr-4.10.3.war包分别部署到tomcat1,2,3,4下。并改名为solr.war
[root@bogon dist]# cp solr-4.10.3.war /usr/local/solrcloud/tomcat1/webapps/solr.war
[root@bogon dist]# cp solr-4.10.3.war /usr/local/solrcloud/tomcat2/webapps/solr.war
[root@bogon dist]# cp solr-4.10.3.war /usr/local/solrcloud/tomcat3/webapps/solr.war
[root@bogon dist]# cp solr-4.10.3.war /usr/local/solrcloud/tomcat4/webapps/solr.war
第三步:解压war包。启动tomcat1,2,3,4自动解压。关闭tomcat1,2,3,4。删除solr.war.
第四步:把/root/solr-4.10.3/example/lib/ext 目录下所有的jar包复制到solr工程中。
[root@bogon ext]# cp * /usr/local/solrcloud/tomcat1/webapps/solr/WEB-INF/lib/
[root@bogon ext]# cp * /usr/local/solrcloud/tomcat2/webapps/solr/WEB-INF/lib/
[root@bogon ext]# cp * /usr/local/solrcloud/tomcat3/webapps/solr/WEB-INF/lib/
[root@bogon ext]# cp * /usr/local/solrcloud/tomcat4/webapps/solr/WEB-INF/lib/
第五步:创建solrhome。Solrhome是存放solr服务器所有配置文件的目录。
[root@bogon example]# pwd
/root/solr-4.10.3/example
[root@bogon example]# cp -r solr /usr/local/solrcloud/solrhome1
[root@bogon example]# cp -r solr /usr/local/solrcloud/solrhome2
[root@bogon example]# cp -r solr /usr/local/solrcloud/solrhome3
[root@bogon example]# cp -r solr /usr/local/solrcloud/solrhome4
[root@bogon example]#
第六步:告诉solr服务器solrhome的位置。
需要修改solr工程的web.xml文件。
<env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/usr/local/solrcloud/solrhome1</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>
<env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/usr/local/solrcloud/solrhome2</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>
<env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/usr/local/solrcloud/solrhome3</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>
<env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/usr/local/solrcloud/solrhome4</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>
4)安装中文分词器
第一步:配置IKAnalyzer的jar包
拷贝IKAnalyzer的文件到Tomcat下Solr目录中
将IKAnalyzer2012FF_u1.jar拷贝到 Tomcat的webapps/solr/WEB-INF/lib 下。
第二步:IKAnalyzer的配置文件
在Tomcat的webapps/solr/WEB-INF/下创建classes目录
将IKAnalyzer.cfg.xml、ext_stopword.dic mydict.dic copy到 Tomcat的webapps/solr/WEB-INF/classes
注意:ext_stopword.dic 和mydict.dic必须保存成无BOM的utf-8类型。
第三步:修改schema.xml文件
修改Solr的schema.xml文件,添加FieldType:
<fieldType name="text_ik" class="solr.TextField"> <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/> </fieldType>
第四步:设置业务系统Field(根据自己的业务自行设置)
<field name="item_title" type="text_ik" indexed="true" stored="true"/> <field name="item_sell_point" type="text_ik" indexed="true" stored="true"/> <field name="item_price" type="long" indexed="true" stored="true"/> <field name="item_image" type="string" indexed="false" stored="true" /> <field name="item_category_name" type="string" indexed="true" stored="true" /> <field name="item_desc" type="text_ik" indexed="true" stored="false" /> <field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/> <copyField source="item_title" dest="item_keywords"/> <copyField source="item_sell_point" dest="item_keywords"/> <copyField source="item_category_name" dest="item_keywords"/> <copyField source="item_desc" dest="item_keywords"/>
zookeeper管理配置文件
由于zookeeper统一管理solr的配置文件(主要是schema.xml、solrconfig.xml), solrCloud各各节点使用zookeeper管理的配置文件。
将上边部署的solr单机的conf拷贝到/home/solr下。
执行下边的命令将/home/solr/conf下的配置文件上传到zookeeper(此命令为单条命令,虽然很长o(╯□╰)o)。此命令在solr-4.10.3/example/scripts/cloud-scripts/目录下:
./zkcli.sh -zkhost 192.168.25.150:2181,192.168.25.150:2182,192.168.25.150:2183 -cmd upconfig -confdir /usr/local/solrcloud/solrhome1/collection1/conf -confname myconf
登陆zookeeper服务器查询配置文件:
cd /usr/local/zookeeper/bin/
./zkCli.sh
修改SolrCloud监控端口为8080:
修改每个solrhome的solr.xml文件。
每一台solr和zookeeper关联
修改每一台solr的tomcat 的 bin目录下catalina.sh文件中加入DzkHost指定zookeeper服务器地址:
JAVA_OPTS=”-DzkHost=192.168.25.150:2181,192.168.25.150:2182,192.168.25.150:2183”
(可以使用vim的查找功能查找到JAVA_OPTS的定义的位置,然后添加)
启动每一台solr的tomcat服务。
访问任意一台solr,左侧菜单出现Cloud:
Solr界面功能
SolrCloud集群配置
上图中的collection1集群只有一片,可以通过下边的方法配置新的集群。
如果集群中有四个solr节点创建新集群collection2,将集群分为两片,每片两个副本。
http://192.168.25.150:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
删除集群命令;
http://192.168.25.150:8080/solr/admin/collections?action=DELETE&name=collection1
执行后原来的collection1删除,如下:
注意:启动solrCloud需要先启动solrCloud依赖的所有zookeeper服务器,再启动每台solr服务器。
solrJ访问solrCloud
public class SolrCloudTest { // zookeeper地址 private static String zkHostString = "192.168.25.150:2181,192.168.25.150:2182,192.168.25.150:2183"; // collection默认名称,比如我的solr服务器上的collection是collection2_shard1_replica1,就是去掉“_shard1_replica1”的名称 private static String defaultCollection = "collection1"; // cloudSolrServer实际 private CloudSolrServer cloudSolrServer; // 测试方法之前构造 CloudSolrServer @Before public void init() { cloudSolrServer = new CloudSolrServer(zkHostString); cloudSolrServer.setDefaultCollection(defaultCollection); cloudSolrServer.connect(); } // 向solrCloud上创建索引 @Test public void testCreateIndexToSolrCloud() throws SolrServerException, IOException { SolrInputDocument document = new SolrInputDocument(); document.addField("id", "100001"); document.addField("title", "李四"); cloudSolrServer.add(document); cloudSolrServer.commit(); } // 搜索索引 @Test public void testSearchIndexFromSolrCloud() throws Exception { SolrQuery query = new SolrQuery(); query.setQuery("*:*"); try { QueryResponse response = cloudSolrServer.query(query); SolrDocumentList docs = response.getResults(); System.out.println("文档个数:" + docs.getNumFound()); System.out.println("查询时间:" + response.getQTime()); for (SolrDocument doc : docs) { ArrayList title = (ArrayList) doc.getFieldValue("title"); String id = (String) doc.getFieldValue("id"); System.out.println("id: " + id); System.out.println("title: " + title); System.out.println(); } } catch (SolrServerException e) { e.printStackTrace(); } catch (Exception e) { System.out.println("Unknowned Exception!!!!"); e.printStackTrace(); } } // 删除索引 @Test public void testDeleteIndexFromSolrCloud() throws SolrServerException, IOException { // 根据id删除 UpdateResponse response = cloudSolrServer.deleteById("zhangsan"); // 根据多个id删除 // cloudSolrServer.deleteById(ids); // 自动查询条件删除 // cloudSolrServer.deleteByQuery("product_keywords:教程"); // 提交 cloudSolrServer.commit(); } }
相关文章推荐
- Zookeeper,SolrCloud,Redis Cluster三种集群(伪集群)的搭建
- centos7 搭建SolrCloud集群
- solrCloud集群的搭建
- solrCloud 集群搭建
- linux下搭建solrCloud集群(一)
- 【solr】Solr5.5.4+Zookeeper3.4.6+Tomcat8搭建SolrCloud集群
- SolrCloud集群搭建
- Solr之SolrCloud集群搭建
- SolrCloud集群环境搭建
- Linux --- SolrCloud集群搭建
- [置顶] 基于zookeeper的solrCloud集群搭建
- solr学习(6.1)solrcloud集群的搭建
- SolrCloud的介绍以及SolrCloud的集群搭建
- solr集群solrCloud搭建
- Solr Cloud 5.4 集群环境搭建
- solrcloud集群搭建
- 分布式搜索之搭建Solrcloud(Solr集群)
- 分布式搜索之搭建Solrcloud(Solr集群)
- SolrCloud集群搭建
- solr cloud 集群搭建