利用php抓取蜘蛛爬虫痕迹的示例代码
2016-09-30 11:00
639 查看
前言
相信许多的站长、博主可能最关心的无非就是自己网站的收录情况,一般情况下我们可以通过查看空间服务器的日志文件来查看搜索引擎到底爬取了我们哪些个页面,不过,如果用php代码分析web日志中蜘蛛爬虫痕迹,是比较好又比较直观方便操作的!下面是示例代码,有需要的朋友们下面来一起看看吧。
示例代码
<?php //获取蜘蛛爬虫名或防采集 function isSpider(){ $bots = array( 'Google' => 'googlebot', 'Baidu' => 'baiduspider', 'Yahoo' => 'yahoo slurp', 'Soso' => 'sosospider', 'Msn' => 'msnbot', 'Altavista' => 'scooter ', 'Sogou' => 'sogou spider', 'Yodao' => 'yodaobot' ); $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']); foreach ($bots as $k => $v){ if (strstr($v,$userAgent)){ return $k; break; } } return false; } //获取哪种蜘蛛爬虫后保存蜘蛛痕迹。 //根据采集时HTTP_USER_AGENT是否为空来防止采集 //抓蜘蛛爬虫 $spi = isSpider(); if($spi){ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $file = 'robot.txt'; $time = date('Y-m-d H:i:s',mktime()); $handle = fopen($file,'a+'); $PR = $_SERVER['REQUEST_URI']; fwrite($handle, "Time:{$time} ROBOT:{$spi} AGENT:{$tlc_thispage} URL:{$PR} \n\r"); fclose($handle); } ?>
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有问题大家可以留言交流。
您可能感兴趣的文章:
相关文章推荐
- 利用curl抓取远程页面内容的示例代码
- 爬虫技术(四)-- 简单爬虫抓取示例(附c#代码)
- 【代码】php 捕捉各大搜索引擎的蜘蛛、爬虫的iP和访问途径
- PHP利用一行代码删除目录下所有文件方法示例
- 利用C#实现最基本的小说爬虫示例代码
- 利用PHP抓取百度阅读的方法示例
- 利用python脚本抓取AC的代码[爬虫+HTMLParser+handle_entityref+正则表达式+模拟登陆+文件操作]
- php利用curl抓取新浪微博内容示例
- 网络爬虫之php抓取json,xml,js,html示例分析及数据解析
- C#多线程爬虫抓取免费代理IP的示例代码
- Python之多线程爬虫抓取网页图片的示例代码
- 利用PHP抓取百度阅读的方法示例
- PHP利用MySQL保存session的实现思路及示例代码
- 爬虫技术 -- 进阶学习(七)简单爬虫抓取示例(附c#代码)
- 利用curl抓取远程页面内容的示例代码
- PHP利用MySQL保存session的实现思路及示例代码
- 实现蜘蛛捕捉的PHP代码 (WEB爬虫)
- php利用云片网实现短信验证码功能的示例代码