简单实用的php爬虫系统

通过简单的配置就爬取到网页内容，代码在github，欢迎大家一起使用。

* 代码提供的两个示例。由于网页改版，可能已经不能用了，下载后按自己的实际需求来

修改正规提取规则

。

https://github.com/wxxiong6/crawl

php爬虫系统

程序只支持CLI

安装程序

1.dbconfig.php 添加正确的数据库配置

2. 安装程序

php run install

启动程序

安装完成后，在setting表添加来源站点及正则提取规则。

启动程序 (参数是 setting 表id)

php run run 1

清除项目数据

PHP

php run clear

完整代码目录

“`PHP

│ crawl.sql

│ LICENSE

│ README

│ run 系统入口程序

│

├─code

│ ├─config 配置文件

│ │ config.php

│ │ dbconfig.php

│ │

│ └─library 类库

│ │ App.php

│ │ Crawl.php

│ │ CrawlCallback.php

│ │ Import.php

│ │ Loader.php

│ │

│ └─db 数据库

│ MysqlPDO.php

│

├─data 数据

│

├─log 日志目录

│

├─tmp

└─web web目录

“`