python3爬取拉勾网招聘信息存为excel格式
2017-06-29 20:21
387 查看
#encoding:utf-8 import json # 使用json解码 因为拉勾网的格式是json import requests # 使用这个requests是得到网页源码 import pandas # 使用这个数据进行存储 import openpyxl
items = [] # 定义空列表用来存放你得到的数据 # 循环两页 这里爬取的是两页内容 for i in range(1,2): # 传入data 因为这个url是post的请求方法 pn指的是页数 kd指的是你搜索的内容 data = {'first': 'true', 'pn': i, 'kd': 'python'} # 拉钩网的链接是固定的就变化的是页数 因为是post的提交方法 所以传入data yuan = requests.post('https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false', data=data).text # 使用json进行解码 因为返回的是一个json的格式 yuan = json.loads(yuan) # 得到14个数据 for i in range(14): item = [] # 看下面的图片item里面的是什么数据 item.append(yuan['content']['positionResult']['result'][i]['positionName']) item.append(yuan['content']['positionResult']['result'][i]['companyFullName']) item.append(yuan['content']['positionResult']['result'][i]['salary']) item.append(yuan['content']['positionResult']['result'][i]['city']) item.append(yuan['content']['positionResult']['result'][i]['positionAdvantage']) items.append(item) # 使用的是pands的存数据 存为xlsx就是excel格式 data = pandas.DataFrame(items) data.to_excel('拉钩.xlsx')
大家多评论,指正。
相关文章推荐
- Python爬取拉勾网招聘信息并写入Excel
- Python学习之路 (六)爬虫(五)爬取拉勾网招聘信息
- 【Python】抓取拉勾网全国Python的招聘信息
- 爬取拉勾网招聘信息并使用xlwt存入Excel
- python爬取拉勾网招聘信息并利用pandas做简单数据分析
- Python爬取拉勾网招聘信息
- 【python爬虫02】使用Scrapy框架爬取拉勾网招聘信息
- Python爬取拉勾网招聘信息
- 爬取拉勾网招聘信息并使用xlwt存入Excel ——问题总结
- Python实战--抓取拉勾网招聘信息
- 读书笔记(十)——python简单爬取企查查网企业信息,并以excel格式存储
- Python爬虫:爬取拉勾网招聘信息
- Python scrapy 爬取拉勾网招聘信息
- Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息
- python爬虫爬取拉勾网职业信息
- Python读取txt内容写入xls格式excel中的方法
- python 爬去拉钩测试招聘信息
- python获取天气信息写入原有的excel文档
- Python 获取图片格式及像素宽高信息
- 【爬虫相关】爬虫爬取拉勾网的安卓招聘信息