周考 信息采集 使用PDO添加入库 展示 及分页效果
2016-07-09 11:15
513 查看
《互联网系项目优化第一周周考测验题》
案例效果：
案例描述：
1.采集网址“http://sports.sohu.com/nba.shtml”；
2.采集如上所示的图片，标题，详细信息（图片缓存到本地）
评分标准：（可以参考相关手册，不允许参考本机相关代码，否则视为0分）
1.采集上述所要求的数据，进行入库操作（40分）
2.图片采集保存在本地成功（20分）
3.按表格的形式展示出所采集的信息，详情部分只需显示10个长度的内容（类似于 “你好，我好，大家好啊....”），其余部分使用省略号代替（40分）
4.所有数据库的操作均使用PDO进行操作
1）nab.php
<?php
header('content-type:text/html;charset=utf-8');
include("curl.php");
$url = "http://sports.sohu.com/nba.shtml/";
$data =curl($url,array(),'GET');
// echo $data;die;
$arr = mb_convert_encoding($data,"UTF-8","gb2312");
//echo $arr;die;
$reg ='#<div style="HEIGHT: 290px; OVERFLOW: hidden" id="columnID" class="heavyColumn">.*<div class="clear">#isU';
preg_match($reg,$arr,$arr1);
//print_r($arr1);
$reg1 ='#<a onFocus=".*" title="" href=".*" target=".*"><img alt=".*" src="(.*)" border=".*" height=".*" width=".*"></a>#isU';
preg_match_all($reg1,$arr1[0],$arr2);
//var_dump($arr2);
$img= $arr2[1];//获取图片
$reg2='#<p>(.*)<a onFocus=".*" href=".*" target=".*">(.*)</a>.*</p>#isU';
preg_match_all($reg2,$arr1[0],$arr3);
//var_dump($arr3);die;
$title = $arr3[1];//获取内容
$content = $arr3[2];//获取解说
//pdo进行入库;
$pdo=new PDO('mysql:host=localhost;dbname=test','root','');
//设置字符集
$sql1="set names utf8";
//exex执行写操作(增、删、改)
$row=$pdo->exec($sql1);
//echo $row;exit;
foreach ($img as $key => $v) {
$str=file_get_contents($v);
$path=pathinfo($v);
$path=$path['extension'];
$filename='images/'.time().rand(1000,9999).'.'.$path;
//把图片的内容写入到文件中，就把图片保存到本地
file_put_contents($filename,$str);
//sql语句
$sql="insert into souhu(id,img,title,content)values(null,'$filename','$title[$key]','$content[$key]')";
$pdo->exec($sql);
}
2）nab1.php
<?php
header('content-type:text/html;charset=utf8');
//pdo进行入库;
$pdo=new PDO('mysql:host=localhost;dbname=test','root','');
//设置字符集
$sql1="set names utf8";
$pdo->exec($sql1);
$sql="select * from souhu";
$res=$pdo->query($sql);
@$total=mysql_num_rows($res);//总条数
$num=2;//每页显示条数
$url="nab1.php";//请求的URL
$cpage=isset($_GET["page"])?$_GET["page"]:1;//当前页
$pagenum=ceil($total/$num);//总页数
$offset=($cpage-1)*$num;//开始去数据的位置
$res=$pdo->query("select * from souhu limit {$offset},{$num}");
$res = $res->fetchAll(PDO::FETCH_ASSOC);
$start=$offset+1;//开始记录页
$end=($cpage==$pagenum)?$total : ($cpage*$num);//结束记录页
$next=($cpage==$pagenum)? 0:($cpage+1);//下一页
$prev=($cpage==1)? 0:($cpage-1);//前一页
echo"<table border=1>";
foreach($res as $k=>$arr){
echo "<tr>";
$img = $arr['img'];
echo "<td>"."<img src='$img'></td>";
echo "<td>".$arr['title']."</td>";
echo "<td>".$arr['content']."</td>";
echo "</tr>";
}
echo"</table>";
echo "共<b>$total</b>条记录，本页显示<b>{$start}-{$end}</b> {$cpage}/{$pagenum}";
if($cpage==1)
echo " 首页 ";
else
echo " <a href='{$url}?page=1'>首页</a> ";
if($prev)
echo " <a href='{$url}?page={$prev}'>上一页</a> ";
else
echo " 上一页 ";
if($next)
echo " <a href='{$url}?page={$next}'>下一页</a> ";
else
echo " 下一页 ";
if($pagenum)
echo " 尾页 ";
else
echo " <a href='{$url}?page={$pagenum}'>尾页</a> ";
?>
3）curl.php
<?php
//var_dump($_SERVER);exit;
$cookie_file = tempnam('./temp','cookie'); //创建cookie文件保存的位置
//echo $cookie_file;exit;
function curl($url,$data,$method,$setcooke=false,$cookie_file=false){
$ch = curl_init();
//1.初始化
curl_setopt($ch, CURLOPT_URL, $url); //2.请求地址
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, $method);//3.请求方式
//4.参数如下
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0'); //指明以哪种方式进行访问
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_AUTOREFERER, 1);
curl_setopt($ch, CURLOPT_REFERER,'http://internet.baidu.com'); //伪装原页面访问
if($method=="POST"){//5.post方式的时候添加数据
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
}
if($setcooke==true){
//如果设置要请求的cookie，那么把cookie值保存在指定的文件中
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
}else{
//就从文件中读取cookie的信息
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
}
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$tmpInfo = curl_exec($ch);
if (curl_errno($ch)) {
return curl_error($ch);
}
curl_close($ch);
return $tmpInfo;
}
/*
//模拟get请求
$url="https://www.taobao.com/";
$str=curl($url,array(),'GET');
//echo $str;
//post请求
$url="http://www.study.com/seven7/1408phpB/20160311/1.php";
$data=array('username'=>'abc');
$str=curl($url,$data,'POST');
echo $str;
*/
//模拟登陆
//登陆保存用户信息到cookie中
$url="http://www.123.com/user.php";
$data=array('username'=>'ecshop','password'=>'ecshop','remember'=>'1','act'=>'act_login','back_act'=>'./index.php','submit'=>'');
//post提交
curl($url,$data,'POST',true,$cookie_file);
//get获取
$url="http://www.123.com/user.php?act=order_list";
$str=curl($url,array(),'GET',false,$cookie_file);
//echo $str;
| 题号 | 一 | 总分 | 批卷人 | 审核人 |
| 得分 | | | | |
案例效果：
案例描述：
1.采集网址“http://sports.sohu.com/nba.shtml”；
2.采集如上所示的图片，标题，详细信息（图片缓存到本地）
评分标准：（可以参考相关手册，不允许参考本机相关代码，否则视为0分）
1.采集上述所要求的数据，进行入库操作（40分）
2.图片采集保存在本地成功（20分）
3.按表格的形式展示出所采集的信息，详情部分只需显示10个长度的内容（类似于 “你好，我好，大家好啊....”），其余部分使用省略号代替（40分）
4.所有数据库的操作均使用PDO进行操作
1）nab.php
<?php
header('content-type:text/html;charset=utf-8');
include("curl.php");
$url = "http://sports.sohu.com/nba.shtml/";
$data =curl($url,array(),'GET');
// echo $data;die;
$arr = mb_convert_encoding($data,"UTF-8","gb2312");
//echo $arr;die;
$reg ='#<div style="HEIGHT: 290px; OVERFLOW: hidden" id="columnID" class="heavyColumn">.*<div class="clear">#isU';
preg_match($reg,$arr,$arr1);
//print_r($arr1);
$reg1 ='#<a onFocus=".*" title="" href=".*" target=".*"><img alt=".*" src="(.*)" border=".*" height=".*" width=".*"></a>#isU';
preg_match_all($reg1,$arr1[0],$arr2);
//var_dump($arr2);
$img= $arr2[1];//获取图片
$reg2='#<p>(.*)<a onFocus=".*" href=".*" target=".*">(.*)</a>.*</p>#isU';
preg_match_all($reg2,$arr1[0],$arr3);
//var_dump($arr3);die;
$title = $arr3[1];//获取内容
$content = $arr3[2];//获取解说
//pdo进行入库;
$pdo=new PDO('mysql:host=localhost;dbname=test','root','');
//设置字符集
$sql1="set names utf8";
//exex执行写操作(增、删、改)
$row=$pdo->exec($sql1);
//echo $row;exit;
foreach ($img as $key => $v) {
$str=file_get_contents($v);
$path=pathinfo($v);
$path=$path['extension'];
$filename='images/'.time().rand(1000,9999).'.'.$path;
//把图片的内容写入到文件中，就把图片保存到本地
file_put_contents($filename,$str);
//sql语句
$sql="insert into souhu(id,img,title,content)values(null,'$filename','$title[$key]','$content[$key]')";
$pdo->exec($sql);
}
2）nab1.php
<?php
header('content-type:text/html;charset=utf8');
//pdo进行入库;
$pdo=new PDO('mysql:host=localhost;dbname=test','root','');
//设置字符集
$sql1="set names utf8";
$pdo->exec($sql1);
$sql="select * from souhu";
$res=$pdo->query($sql);
@$total=mysql_num_rows($res);//总条数
$num=2;//每页显示条数
$url="nab1.php";//请求的URL
$cpage=isset($_GET["page"])?$_GET["page"]:1;//当前页
$pagenum=ceil($total/$num);//总页数
$offset=($cpage-1)*$num;//开始去数据的位置
$res=$pdo->query("select * from souhu limit {$offset},{$num}");
$res = $res->fetchAll(PDO::FETCH_ASSOC);
$start=$offset+1;//开始记录页
$end=($cpage==$pagenum)?$total : ($cpage*$num);//结束记录页
$next=($cpage==$pagenum)? 0:($cpage+1);//下一页
$prev=($cpage==1)? 0:($cpage-1);//前一页
echo"<table border=1>";
foreach($res as $k=>$arr){
echo "<tr>";
$img = $arr['img'];
echo "<td>"."<img src='$img'></td>";
echo "<td>".$arr['title']."</td>";
echo "<td>".$arr['content']."</td>";
echo "</tr>";
}
echo"</table>";
echo "共<b>$total</b>条记录，本页显示<b>{$start}-{$end}</b> {$cpage}/{$pagenum}";
if($cpage==1)
echo " 首页 ";
else
echo " <a href='{$url}?page=1'>首页</a> ";
if($prev)
echo " <a href='{$url}?page={$prev}'>上一页</a> ";
else
echo " 上一页 ";
if($next)
echo " <a href='{$url}?page={$next}'>下一页</a> ";
else
echo " 下一页 ";
if($pagenum)
echo " 尾页 ";
else
echo " <a href='{$url}?page={$pagenum}'>尾页</a> ";
?>
3）curl.php
<?php
//var_dump($_SERVER);exit;
$cookie_file = tempnam('./temp','cookie'); //创建cookie文件保存的位置
//echo $cookie_file;exit;
function curl($url,$data,$method,$setcooke=false,$cookie_file=false){
$ch = curl_init();
//1.初始化
curl_setopt($ch, CURLOPT_URL, $url); //2.请求地址
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, $method);//3.请求方式
//4.参数如下
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0'); //指明以哪种方式进行访问
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_AUTOREFERER, 1);
curl_setopt($ch, CURLOPT_REFERER,'http://internet.baidu.com'); //伪装原页面访问
if($method=="POST"){//5.post方式的时候添加数据
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
}
if($setcooke==true){
//如果设置要请求的cookie，那么把cookie值保存在指定的文件中
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
}else{
//就从文件中读取cookie的信息
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
}
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$tmpInfo = curl_exec($ch);
if (curl_errno($ch)) {
return curl_error($ch);
}
curl_close($ch);
return $tmpInfo;
}
/*
//模拟get请求
$url="https://www.taobao.com/";
$str=curl($url,array(),'GET');
//echo $str;
//post请求
$url="http://www.study.com/seven7/1408phpB/20160311/1.php";
$data=array('username'=>'abc');
$str=curl($url,$data,'POST');
echo $str;
*/
//模拟登陆
//登陆保存用户信息到cookie中
$url="http://www.123.com/user.php";
$data=array('username'=>'ecshop','password'=>'ecshop','remember'=>'1','act'=>'act_login','back_act'=>'./index.php','submit'=>'');
//post提交
curl($url,$data,'POST',true,$cookie_file);
//get获取
$url="http://www.123.com/user.php?act=order_list";
$str=curl($url,array(),'GET',false,$cookie_file);
//echo $str;
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 简单排序之冒泡排序
- php xmlrpc实例及jsonrpc、soap区别
- cookie 和session 的区别详解
- 向量的运算
- 操作数据表中的记录（增删改查）
- NOIP2010提高组 关押罪犯
- 容器适配器、STL算法简介
- android开发之R文件报错
- PCIe之DMA （二）
- fatal: Not a git repository (or any of the parent&n
- 决战Myeclipse+tomcat+jdk
- vs2010+opencv2.4.9配置笔记
- Android弹出式菜单-一种简单的实现方式
- python中如何区分常量和变量
- 室内可见光定位系统的多径反射研究
- mysql安装图解 mysql图文安装教程(详细说明)
- xcode下载方式
- Linux ssh安全配置
- sublimeText
- prim算法的前向星实现