爬虫+数据导入Excel
2016-12-04 22:34
274 查看
由于需要将服务端传到网页的数据做成表格,于是就有了下面一系列。。。
首先还是先说明一下,下面写的水平只是入门,因为一个小时前,我还不知道Python原来是一门语言。。。
一、使用爬虫获取网页传回来的respond
import urllib2
response = urllib2.urlopen('http://xxxxxxxxxxxxxxx')
html = response.read()
就是这么快,只要三句话
二、正则处理回应数据
import re
items=[]
nums=re.findall("<td>(.*?)</td>",html)
for num in nums:
items.append(num)
在 回应数据里找到<td></td>中间的数据(由于网页也属于超简单的那种)
然后再将提取出来的数据直接导入列表
三、安装(xlrd,pyExelerator)
1. 到官网下载下两个压缩包
2.任意文件夹下解压
3.cmd进入该文件夹
4.分别cd进入xlrd,PyExelerator解压后的文件夹执行 python setup.py install
安装完毕
四、将数据导入Excel
# -*- coding:UTF-8 -*-
from pyExcelerator import *
sheetTems=[]
rows=0
cols=0
def excelCreate(items):
icount=0
row1=1
row2=1
row221=1
w=Workbook()
w1=w.add_sheet('id_1')
w2=w.add_sheet('id_2')
w221=w.add_sheet('id_221')
sheetTems.append(w1)
sheetTems.append(w2)
sheetTems.append(w221)
for wnum in sheetTems:
wnum.write(rows,cols,u'IMEI')
wnum.write(rows,cols+1,u'设备号')
wnum.write(rows,cols+2,u'服务器接收时间')
wnum.write(rows,cols+3,u'创建时间')
wnum.write(rows,cols+4,u'模式')
wnum.write(rows,cols+5,u'状态')
wnum.write(rows,cols+6,u'剩余电量(%)')
wnum.write(rows,cols+7,u'信号强度')
for itemp in items:
if itemp=='866104028369828':
w1.write(row1,cols,items[icount])
w1.write(row1,cols+1,items[icount+1])
w1.write(row1,cols+2,items[icount+2])
str1=items[icount+3]
w1.write(row1,cols+3,str1[38:50])
w1.write(row1,cols+4,str1[33])
w1.write(row1,cols+5,str1[31])
w1.write(row1,cols+6,str1[34:36])
w1.write(row1,cols+7,str1[50:52])
row1+=1
elif itemp=='866104028270158':
w2.write(row2,cols,items[icount])
w2.write(row2,cols+1,items[icount+1])
w2.write(row2,cols+2,items[icount+2])
str2=items[icount+3]
w2.write(row2,cols+3,str2[38:50])
w2.write(row2,cols+4,str2[33])
w2.write(row2,cols+5,str2[31])
w2.write(row2,cols+6,str2[34:36])
w2.write(row2,cols+7,str2[50:52])
row2+=1
elif itemp=='866104028270109':
w221.write(row221,cols,items[icount])
w221.write(row221,cols+1,items[icount+1])
w221.write(row221,cols+2,items[icount+2])
str221=items[icount+3]
w221.write(row221,cols+3,str221[38:50])
w221.write(row221,cols+4,str221[33])
w221.write(row221,cols+5,str221[31])
w221.write(row221,cols+6,str221[34:36])
w221.write(row221,cols+7,str221[50:52])
row221+=1
icount+=1
#print "icount:",icount
w.save(u'20161204.xls')
主要的几个函数如下:
Workbook()打开EXCEL add_sheet('id_1')创建表格 write(rows,cols,u'xxxx') 在某行某列写入数据 save(u'xxxx.xls')保存EXCEL
首先还是先说明一下,下面写的水平只是入门,因为一个小时前,我还不知道Python原来是一门语言。。。
一、使用爬虫获取网页传回来的respond
import urllib2
response = urllib2.urlopen('http://xxxxxxxxxxxxxxx')
html = response.read()
就是这么快,只要三句话
二、正则处理回应数据
import re
items=[]
nums=re.findall("<td>(.*?)</td>",html)
for num in nums:
items.append(num)
在 回应数据里找到<td></td>中间的数据(由于网页也属于超简单的那种)
然后再将提取出来的数据直接导入列表
三、安装(xlrd,pyExelerator)
1. 到官网下载下两个压缩包
2.任意文件夹下解压
3.cmd进入该文件夹
4.分别cd进入xlrd,PyExelerator解压后的文件夹执行 python setup.py install
安装完毕
四、将数据导入Excel
# -*- coding:UTF-8 -*-
from pyExcelerator import *
sheetTems=[]
rows=0
cols=0
def excelCreate(items):
icount=0
row1=1
row2=1
row221=1
w=Workbook()
w1=w.add_sheet('id_1')
w2=w.add_sheet('id_2')
w221=w.add_sheet('id_221')
sheetTems.append(w1)
sheetTems.append(w2)
sheetTems.append(w221)
for wnum in sheetTems:
wnum.write(rows,cols,u'IMEI')
wnum.write(rows,cols+1,u'设备号')
wnum.write(rows,cols+2,u'服务器接收时间')
wnum.write(rows,cols+3,u'创建时间')
wnum.write(rows,cols+4,u'模式')
wnum.write(rows,cols+5,u'状态')
wnum.write(rows,cols+6,u'剩余电量(%)')
wnum.write(rows,cols+7,u'信号强度')
for itemp in items:
if itemp=='866104028369828':
w1.write(row1,cols,items[icount])
w1.write(row1,cols+1,items[icount+1])
w1.write(row1,cols+2,items[icount+2])
str1=items[icount+3]
w1.write(row1,cols+3,str1[38:50])
w1.write(row1,cols+4,str1[33])
w1.write(row1,cols+5,str1[31])
w1.write(row1,cols+6,str1[34:36])
w1.write(row1,cols+7,str1[50:52])
row1+=1
elif itemp=='866104028270158':
w2.write(row2,cols,items[icount])
w2.write(row2,cols+1,items[icount+1])
w2.write(row2,cols+2,items[icount+2])
str2=items[icount+3]
w2.write(row2,cols+3,str2[38:50])
w2.write(row2,cols+4,str2[33])
w2.write(row2,cols+5,str2[31])
w2.write(row2,cols+6,str2[34:36])
w2.write(row2,cols+7,str2[50:52])
row2+=1
elif itemp=='866104028270109':
w221.write(row221,cols,items[icount])
w221.write(row221,cols+1,items[icount+1])
w221.write(row221,cols+2,items[icount+2])
str221=items[icount+3]
w221.write(row221,cols+3,str221[38:50])
w221.write(row221,cols+4,str221[33])
w221.write(row221,cols+5,str221[31])
w221.write(row221,cols+6,str221[34:36])
w221.write(row221,cols+7,str221[50:52])
row221+=1
icount+=1
#print "icount:",icount
w.save(u'20161204.xls')
主要的几个函数如下:
Workbook()打开EXCEL add_sheet('id_1')创建表格 write(rows,cols,u'xxxx') 在某行某列写入数据 save(u'xxxx.xls')保存EXCEL
相关文章推荐
- ASP.NET中数据库数据导入Excel并打印(转载)
- Excel数据导入DataGrid中
- pb 如何从excel中导入数据
- ASP.NET中数据库数据导入Excel、Word并打印
- C#把表中的数据导入到Excel中
- ASP.NET中数据库数据导入Excel并打印
- jsp中将数据库中的数据导入到excel的实现
- 怎么由DataSet将数据导入Excel?
- ASP.NET中数据库数据导入Excel并打印(2)
- 将DataGrid中的数据完全导入到EXCEL中
- (原作)ASP.NET中数据库数据导入Excel并打印
- EXCEL数据导入SQL
- DBGird中数据导入Excel例子!
- DataGrid中的数据导入到Word和Excel_VB
- 在Excel中应用VBA批量导入数据
- 在Excel中应用VBA批量导入数据
- 我是否可以将Excel数据导入?
- jsp中将数据库中的数据导入到excel的实现
- 将EXCEL中的数据导入到DataSet中
- 怎样将Excel中的数据导入到SQL Server 2000数据库中