nutch 1.7 修改需要保存建立索引的数据
2014-06-03 14:34
405 查看
默认nutch 1.7 与solr建的索引 字段 都在 conf/solrindex-mapping.xml 里定义
此文章建立在 nutch 与 solr 已经以基本默认配置搭建好的情况。
现在如有需求新增自定义解析保存字段,与默认有的数据并存,比如,新增一个叫 imgurl 的字段
如上需求需要修改以下地方:
1、ParseData,修改保存数据的结构,nutch默认把解析后的数据存于 ParseData。我们新增一个字段叫urls
并提供 get 方法,修改构造函数里的传值。 并在 readFields 方法里 新增:urls = Text.readString(in);
2、做了如上修改,ParseOutputFormat.java 、ParseStatus.java 类会报错,因为 ParseData的构造方法新增了个字段。修改这两个类
3、现在到重点,修改 parse-html 插件的 HtmlParser.java 类,
定义一个变量 urls,然后获取 imgUrls 的值的方法,最后在new PraseData的时候把urls值传进去。
4、修改 index-basic 插件的 BasicIndexing.java 类。
做如图修改,将从 ParseData 中获取的 urls 的值 添加到 NutchDocument 中,用以之后建索引。
5、修改 conf/solrindex-mapping.xml 配置文件
新增一个字段 <field dest="imgUrls" source="imgUrls"/>
dest属性值必须与上面 doc.add 中填写的字符串内容一致
6、修改 solr 中的 conf/schema.xml 文件,新增字段
<field name="img" type="string" stored="true" indexed="true"/>
field name 必须与上面 的source 属性值 一致。
至此,修改完成。贴图一张
此文章建立在 nutch 与 solr 已经以基本默认配置搭建好的情况。
现在如有需求新增自定义解析保存字段,与默认有的数据并存,比如,新增一个叫 imgurl 的字段
如上需求需要修改以下地方:
1、ParseData,修改保存数据的结构,nutch默认把解析后的数据存于 ParseData。我们新增一个字段叫urls
并提供 get 方法,修改构造函数里的传值。 并在 readFields 方法里 新增:urls = Text.readString(in);
2、做了如上修改,ParseOutputFormat.java 、ParseStatus.java 类会报错,因为 ParseData的构造方法新增了个字段。修改这两个类
3、现在到重点,修改 parse-html 插件的 HtmlParser.java 类,
定义一个变量 urls,然后获取 imgUrls 的值的方法,最后在new PraseData的时候把urls值传进去。
4、修改 index-basic 插件的 BasicIndexing.java 类。
做如图修改,将从 ParseData 中获取的 urls 的值 添加到 NutchDocument 中,用以之后建索引。
5、修改 conf/solrindex-mapping.xml 配置文件
新增一个字段 <field dest="imgUrls" source="imgUrls"/>
dest属性值必须与上面 doc.add 中填写的字符串内容一致
6、修改 solr 中的 conf/schema.xml 文件,新增字段
<field name="img" type="string" stored="true" indexed="true"/>
field name 必须与上面 的source 属性值 一致。
至此,修改完成。贴图一张
相关文章推荐
- MSSQL大量数据时,建立索引或添加字段后保存更改----超时------该这么办
- MSSQL 大量数据时,建立索引或添加字段后保存更改提示超时的解决方法
- MSSQL SERVER 大量数据时,建立索引或添加字段后保存更改提示超时的解决方法
- MSSQL大量数据时,建立索引或添加字段后保存更改----超时------该这么办
- oracle表数据量大时建立索引,需要加上online参数
- MSSQL大量数据时,建立索引或添加字段后保存更改----超时------该这么办
- Oracle EBS PO 采购订单接口 创建后 点击发运后 未修改任何数据 需要保存
- 本文从如何建立mysql索引以及介绍mysql的索引类型,再讲mysql索引的利与弊,以及建立索引时需要注意的地方 首先:先假设有一张表,表的数据有10W条数据,其中有一条数据是nickname='
- 关于SQL SERVER建立索引需要注意的问题
- 关于SQL SERVER建立索引需要注意的问题
- 关于sql server建立索引需要注意的问题
- 关于Ext的EditorGridPanel实时修改数据后保存到数据库的一点心得
- 关于SQL SERVER建立索引需要注意的问题
- 操作链表,需要记住保存前一个结点,以及记录下一个节点,否则容易进入死循环,或者数据出错。
- 用javascript读取xml,并进行修改xml数据,解决保存没有权限问题
- [VB.NET]求救:如何用DataGrid控件修改数据并保存于数据库中?
- 急!三层,先通过clinetdataset从服务器端取得数据,修改后提交到服务器端,准备在服务器端写一个更新数据函数,但更新数据需要主键,现
- 字段建立索引性能分析数据
- 关于SQL SERVER建立索引需要注意的问题
- Mater-Details数据查询修改时,在用DetailsView进行新建,编辑(添加DropDownList控件)应用时需要注意的几点问题