从一句话中提取地点信息
2016-01-07 00:00
751 查看
摘要: 爬虫采集中需要结构化数据,尝试从一句话中提取地点信息
采用字符串匹配的方法提取句子中包含的地点信息(省市)
直接看代码:
单元测试:
采用字符串匹配的方法提取句子中包含的地点信息(省市)
直接看代码:
private static final String[][] LOCATION = { { "上海", "浦东" }, { "北京 ", "朝阳" }, { "浙江", "杭州", "宁波" }, { "天津" }, { "四川", "成都" }, { "广东", "深圳", "广州" }, { "江苏", "南京", "苏州", "无锡" }, { "安徽", "合肥", "芜湖" }, { "湖北", "武汉" }, { "湖南", "长沙" }, { "福建", "厦门" } }; public static String parseLocation(String str) { String result = "other"; for (String[] l : LOCATION) { if ("other".equals(result)) { for (int i = 0; i < l.length; i++) { if (str.matches(".*" + l[i] + ".*")) { result = l[i]; } } } } return result; }
单元测试:
@Test public void psrsertest() { System.out.println("Test begin"); List <String> strs=new ArrayList<String>(10); strs.add("杭州市西苑"); strs.add("浙江省杭州市"); strs.add("广东省广州市"); strs.add("浙江杭州"); strs.add("上海市"); strs.add("北京上海"); strs.add("上海浦东区"); strs.add("上海南京路"); strs.add("安徽阜阳"); strs.add("南京"); strs.add("苏州市工业园区"); for(Iterator itor=strs.iterator();itor.hasNext();){ String st=(String)itor.next(); System.out.println(Localtion.parseLocation(st)); } }
相关文章推荐
- Python3写爬虫(四)多线程实现数据爬取
- Scrapy的架构介绍
- 爬虫笔记
- 如何优雅地使用c语言编写爬虫
- PHP实现简单爬虫的方法
- NodeJS制作爬虫全过程(续)
- 一个PHP实现的轻量级简单爬虫
- nodejs爬虫抓取数据乱码问题总结
- nodejs爬虫抓取数据之编码问题
- python实现爬虫统计学校BBS男女比例(一)
- python实现爬虫统计学校BBS男女比例之数据处理(三)
- JAVA使用爬虫抓取网站网页内容的方法
- 零基础写Java知乎爬虫之抓取知乎答案
- 零基础写Java知乎爬虫之先拿百度首页练练手
- 基于Java HttpClient和Htmlparser实现网络爬虫代码
- 零基础写Java知乎爬虫之获取知乎编辑推荐内容
- python实现爬虫统计学校BBS男女比例之多线程爬虫(二)
- 如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求
- python制作最美应用的爬虫
- Python编写百度贴吧的简单爬虫