数据挖掘工具分析北京房价 （一） 数据爬取采集

一. 前言

房价永远是最让人头疼且激动的话题，尤其是在帝都，多少人一辈子都为了一套房子打拼。正好我也想用一个大家比较关心的话题作为案例，把目前我开发的这套软件进行一次完整的演练。从数据采集，到清洗，分析，和最终可视化和报告的呈现，实现一次完整的流程。一方面可以给大家切实的分享一些有用的信息，再者可以更好地了解这套软件的使用流程。 关于本工具的介绍，可参考数据挖掘平台介绍（综述）——平台简介。

自然的，文章分为四部分，本节是第一部分：数据爬取和采集。

二. 准备工作

俗话说巧妇难为无米之炊，没数据，分析就没有了意义。为了找到合适的数据，我翻到了链家的官网。http://beijing.homelink.com.cn/ 这里的数据虽然远远算不上准确吧，毕竟挂在网上的东西和真实数据肯定会有差距，但可读性很好，数据也比较全。我们就看看怎么去爬取这些数据吧！

链家官网：





总共的房源数是72964套在售，主要关心的数据是面积，价格，位置，特点，地理坐标，看房用户等（反映热度）。我们就看看能不能把这些数据抓到手！

本次介绍的网页采集器有如下特点:

不需要写正则表达式或者编写代码

只需要将感兴趣的数据选中，并为其起名字（默认的名字亦可）

设置批量执行的方法即可执行批量采集

适合爬取列表型页面

简单方便，效率较高

能够爬取动态网页和需要登录的网页（这种操作稍微复杂一些）

首先把“网页采集器”模块拖放到算法处理器中：





下图是 网页采集器 的设置菜单：





首先 填写URL路径，为二手房的数据路径，一般默认编码为UTF-8， 程序中做了对编码格式的识别功能。点击访问网页：

即可在主窗口中，分别以原始HTML方式和浏览器方式浏览该网页：





我一般会选用HTML 源代码的方式查看数据。

将感兴趣的数据，从HTML中拷贝到“筛选字段”对话框中，系统会自动查找对应的路径








给属性起个名字，比如“介绍” ，点击添加字段，即可完成一个属性的添加。

同样的，可以把超链接也做同样的处理，添加字段。





在选择数据时，尽可能选择比较有代表性的数据，同时，要把数据分布在列表的不同项中。

你可以随时查看和修改添加的属性，在高级选项中，点击属性列表：，即可查看当前添加的所有属性，并进行增删改查。




在选择了五个感兴趣的数据之后，可点击“开始爬取”。此时程序会尝试在本网页上进行一次抓取，我们可通过这样的尝试判断程序执行的准确性：

获取了12项，同时点击查看：









类似的，我们可以将其他包括楼层数，朝向等，都通过类似的方法进行添加。如果确实一些数据程序无法自动发现，可通过手写XPATH进行解决。

3. 批量任务

添加了多达10个属性，并进行网页爬取测试后，我们认为程序设置没有问题了，那就可以进行批量网页爬取了。

具体的方法，可以设置批量任务属性。 从网页上看到，总共有6073页：





同时，不同的页面区别仅在URL的最后：

http://beijing.homelink.com.cn/ershoufang/pg2/

http://beijing.homelink.com.cn/ershoufang/pg6074/

所以批量参数可以写成：

http://beijing.homelink.com.cn/ershoufang/{0}/ ，可以把需要替换的数字改为大括号括起来的形式。





加上10ms的延时。

将当前的爬虫保存为一个任务，同时起名字为“链家爬虫”





接下来，即可在菜单栏中， 运行->任务->启动批量任务





选择要执行的任务为“链家爬虫”：





设置要遍历的模块为网页采集器：





选取遍历的参数：





设置参数列表：





可以在左侧填写间隔，最大值和最小值生成参数，同时也可以在右侧，以每行一个参数填写要遍历的参数。我们生成的参数为1-6074

点击完成，即可执行批量任务：





大概在两小时后，即可爬取所有的数据~~~哈哈哈





查看一下战果：





我们将数据导出成文件，方便下次进行分析。（也可以保存到数据库）

选择文件格式，填写文件名：





选择要导出的字段，和是否要修改字段的名称：





点击确定，即可将数据导出完毕。

任务完成！

三. 总结

这次战果斐然，在两小时内采集了七万条数据，而整个配置的时间仅仅不到两分钟。但是必须发现，有很多数据是有问题的，比如面积和一些属性为空，会对后期做数据分析造成影响。因此下一节我们介绍数据清洗工作，敬请期待。