Solr笔记

SolrJ

一. 什么是solrJ

Solrj is a java client to access solr. It offers a java interface to add, update, and query the solr index;

Solrj是Apache Solr提供的一个基于java端访问solr服务器的相关接口;

提供对solr服务器进行索引增加、修改、查询、删除和索引优化相关接口;

二. 使用Solrj

需要使Solrj必须导入以下Jar包

可以从http://lucene.apache.org/solr/获取相关资源

apache-solr-solrj-3.5.0.jar

apache-solrj-core-3.5.0.jar

commons-httpclient-3.1.jar

slf4j-api-1.6.0.jar

slf4j-jdk14-1.6.1jar

commons-logging-1.1jar

三．增加索引

1) 增加索引

public void addIndex(){

try {

SolrServer server = new CommonsHttpSolrServer("http://192.168.208.119:8389/solr");

SolrInputDocument document = new SolrInputDocument();

document.addField("id",1, new Float(1.0));

document.addField("name", "First");

server.add(document);

server.commit();

} catch (MalformedURLException e) {

e.printStackTrace();

} catch (SolrServerException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

}

}

提交到Solr服务器上的数据必须是 SolrInputDocument 类型

2) JavaBean实体转换成SolrInputDocument

public class SolrBean {

@Field

String id;

@Field("path")

String cat;

public String getId() {

return id;

}

public void setId(String id) {

this.id = id;

}

public String getCat() {

return cat;

}

public void setCat(String cat) {

this.cat = cat;

}

}

@Field无参数时,匹配当前字段,也可以自定义,字段必须在schema.xml 中的Filed中存在

addBeans(Collection beans);

addBean(Object obj);

3) SolrDocument转换成JavaBean , DocumentObjectBinder

SolrDocumentList list = server.query(new SolrQuery("*:*")).getResults();

List solrBeanList = server.getBinder().getBeans(SolrBean.class,list);

4) solr服务器异常情况处理

server.add(docs);

server.commit();

server必须commit();solr服务器才会增加索引;

<1> solr服务器正常关闭(直接将部署Solr的Tomcat执行Stop操作)

当执行在 server.add()时,将Tomcat Stop,

因为server.add()时有个进程将数据提交到Solr服务器;

所有Solr服务器正常关闭时会自动执行server.commit();

<2> solr服务器非正常关闭

当执行在 server.add()时,通过任务管理器将Tomcat结束;

在server.add()时的数据将失效;

5) 将已经存在xml文件提交到solr服务器创建索引

curl http://localhost:8983/solr/mbartists/update -H 'Content-type:text/xml;charset=utf-8' --data-binary @artists.xml

官方文档只提供了基于命令行方式提交文件格式创建索引

四、索引修改:

Solr中修改机制为删除已经存在的索引,在增加新索引;

根据唯一字段来判断索引中是否存在,存在则删除。在添加新索引;

唯一字段参见 schema.xml 中 <uniqueKey>id</uniqueKey>

五．搜索

1) 简单的查询代码

public void queryAll(){

try {

SolrServer server = new CommonsHttpSolrServer("http://192.168.208.119:8389/solr");

SolrQuery params = new SolrQuery("*:*");//查询所有

SolrDocumentList docs = server.query(params).getResults();

} catch (MalformedURLException e) {

e.printStackTrace();

} catch (SolrServerException e) {

e.printStackTrace();

}

}

2) 区间查询(between)

assertEquals(3, server.query(new SolrQuery("cat:[C TO G]")).getResults().size());

assertEquals(3, server.query(new SolrQuery("popularity:[1 TO 101]")).getResults().size());

当查询数字时,数字必须存储到int类型中(将int存到String中),否则查询int类型区间时,查询结果不准确

3) 模糊查询(通配符)

* 匹配一个或任意个

assertEquals(1, server.query(new SolrQuery("id:*1")).getResults().size());

? 匹配一个

assertEquals(1, server.query(new SolrQuery("id:1?2")).getResults().size())

AND 且 以下三种写法结果一致,三种不同的方式 (AND 必须大写)

assertEquals(0,server.query(new SolrQuery("id:(001 AND 003)")).getResults().size());

assertEquals(0,server.query(new SolrQuery("id:(001 && 003)")).getResults().size());

assertEquals(0,server.query(new SolrQuery("id:001 && id:003")).getResults().size());

OR 或 以下三种写法结果一致,三种不同的方式 (OR 必须大写)

assertEquals(2,server.query(new SolrQuery("id:(001 OR 003)")).getResults().size());

assertEquals(2,server.query(new SolrQuery("id:(001 || 003)")).getResults().size());

assertEquals(2,server.query(new SolrQuery("id:001 || id:003")).getResults().size());

非 相当于Java中的 ！,-*:* *:*为所有,-*:*则为非所有,即空。

assertEquals("B",server.query(new SolrQuery("-name:A")).getResults().get(0).getFieldValue("name"));

assertEquals("2",server.query(new SolrQuery("-id:1")).getResults().get(0).getFieldValue("id"));

assertEquals(0,server.query(new SolrQuery("-*:*")).getResults().size());

4) 转义字符

SolrInputDocument doc1 = new SolrInputDocument();

doc1.setField("id", "Artist:20");

doc1.setField("name", "A:B:C&*FD");

以下这样查询时,solr服务器无法识别。solr异常信息Cannot parse 'id:Artist:20': Encountered " ":" ": ""

name中的 * 将会查询出所有数据;

assertEquals("Artist:20", server.query(new SolrQuery("id:Artist:20")).getResults().get(0).getFieldValue("id"));

assertEquals("A:B:C&*FD", server.query(new SolrQuery("name:A:B:C&*FD")).getResults().get(0).getFieldValue("name"));

Solr能接受的写法

assertEquals("Artist:20", server.query(new SolrQuery("id:\\Artist:20")).getResults().get(0).getFieldValue("id"));

assertEquals("A:B:C&*FD", server.query(new SolrQuery("name:A\\:B\\:C\\&\\*FD")).getResults().get(0).getFieldValue("name"));

Solrj提供了工具类对内容进行转义ClientUtils.escapeQueryChars(String s);

+ - && || ! ( ) { } [ ] ^ " ~ * ? : \ 这些字符必须要转义

assertEquals("Artist:20", server.query(new SolrQuery("id:"+ClientUtils.escapeQueryChars("Artist:20"))).getResults().get(0).getFieldValue("id"));

assertEquals("A:B:C&*FD", server.query(new SolrQuery("name:"+ClientUtils.escapeQueryChars("A:B:C&*FD"))).getResults().get(0).getFieldValue("name"));

5) 时间查询

6) 多字段(Field)查询

7) Facet

六．删除索引

Solrj提供了接口对索引直接删除;

1) 根据id删除

server. deleteById(String id);

server.commit();

2) 删除id集合

server. deleteById(List ids);

server.commit();

(<uniqueKey>id</uniqueKey>)

精确删除

根据id,或多个id进行删除

Server. deleteById(List ids);

Server. deleteById(String id);

匹配(模糊)删除

deleteByQuery(String query);

七．优化

索引合并

八. 安全性

SolrJ没有提供访问控制接口,也就是说只要知道solr服务器信息,任何人都可以连接solr服务器来进行索引增加、修改、删除操作;

根据Apache提供的文档说明,可以用一下三种方式进行控制;

1) 修改路径

webapp=/solr path=/select 将path改成其它

2) 限制客户端IP

通过限制client端的IP来进行控制,也是基于Tomcat控制

修改conf/server.xml 在<Host>节点中添加以下代码

allow运行访问的主机,多个IP时可以用 , 分开

<Valve className="org.apache.catalina.valves.RemoteAddrValve" allow="127.0.0.1,192.168.208.119"/>

3) 使用Http认证