您的位置:首页 > 编程语言 > Python开发

爬虫+数据导入Excel

2016-12-04 22:34 274 查看
        由于需要将服务端传到网页的数据做成表格,于是就有了下面一系列。。。

       首先还是先说明一下,下面写的水平只是入门,因为一个小时前,我还不知道Python原来是一门语言。。。

     一、使用爬虫获取网页传回来的respond

            import urllib2  

            response = urllib2.urlopen('http://xxxxxxxxxxxxxxx')  

            html = response.read()

            就是这么快,只要三句话

    二、正则处理回应数据

            import re 

            items=[] 

            nums=re.findall("<td>(.*?)</td>",html)

            for num in nums:  

                    items.append(num) 

            在 回应数据里找到<td></td>中间的数据(由于网页也属于超简单的那种)

然后再将提取出来的数据直接导入列表

 三、安装(xlrd,pyExelerator)

           1. 到官网下载下两个压缩包 

          2.任意文件夹下解压

           3.cmd进入该文件夹

           4.分别cd进入xlrd,PyExelerator解压后的文件夹执行 python setup.py install 

            安装完毕

 四、将数据导入Excel

# -*- coding:UTF-8 -*-
from pyExcelerator import *

sheetTems=[]
rows=0
cols=0
def excelCreate(items):
icount=0
row1=1
row2=1
row221=1
w=Workbook()
w1=w.add_sheet('id_1')
w2=w.add_sheet('id_2')
w221=w.add_sheet('id_221')
sheetTems.append(w1)
sheetTems.append(w2)
sheetTems.append(w221)
for wnum in sheetTems:
wnum.write(rows,cols,u'IMEI')
wnum.write(rows,cols+1,u'设备号')
wnum.write(rows,cols+2,u'服务器接收时间')
wnum.write(rows,cols+3,u'创建时间')
wnum.write(rows,cols+4,u'模式')
wnum.write(rows,cols+5,u'状态')
wnum.write(rows,cols+6,u'剩余电量(%)')
wnum.write(rows,cols+7,u'信号强度')
for itemp in items:
if itemp=='866104028369828':
w1.write(row1,cols,items[icount])
w1.write(row1,cols+1,items[icount+1])
w1.write(row1,cols+2,items[icount+2])
str1=items[icount+3]
w1.write(row1,cols+3,str1[38:50])
w1.write(row1,cols+4,str1[33])
w1.write(row1,cols+5,str1[31])
w1.write(row1,cols+6,str1[34:36])
w1.write(row1,cols+7,str1[50:52])
row1+=1
elif itemp=='866104028270158':
w2.write(row2,cols,items[icount])
w2.write(row2,cols+1,items[icount+1])
w2.write(row2,cols+2,items[icount+2])
str2=items[icount+3]
w2.write(row2,cols+3,str2[38:50])
w2.write(row2,cols+4,str2[33])
w2.write(row2,cols+5,str2[31])
w2.write(row2,cols+6,str2[34:36])
w2.write(row2,cols+7,str2[50:52])
row2+=1
elif itemp=='866104028270109':
w221.write(row221,cols,items[icount])
w221.write(row221,cols+1,items[icount+1])
w221.write(row221,cols+2,items[icount+2])
str221=items[icount+3]
w221.write(row221,cols+3,str221[38:50])
w221.write(row221,cols+4,str221[33])
w221.write(row221,cols+5,str221[31])
w221.write(row221,cols+6,str221[34:36])
w221.write(row221,cols+7,str221[50:52])
row221+=1
icount+=1
#print "icount:",icount
w.save(u'20161204.xls')



主要的几个函数如下:

 Workbook()打开EXCEL    add_sheet('id_1')创建表格             write(rows,cols,u'xxxx')  在某行某列写入数据    save(u'xxxx.xls')保存EXCEL
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  爬虫 python