python requests 自动管理cookie, session保持连接,抓取数据后结束
2013-10-20 21:41
507 查看
写的一个模拟登陆自己学校aao.neu.edu.cn里面进行成绩查询python代码。
这一段是最简单的requests模块登陆。 之后获得html页面就可以用
BeautifulSoup模块进行处理了。
之后调用soup模块就可以定点查询。定点查所要的数据了。
提供两个链接 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 这是BeautifulSoup的用法。
跟 http://docs.python-requests.org/en/latest/ requests的用法。。
两个都很详细。。
然后查成绩就麻烦一点了。要开session。查询两次。。
之后同样用 BeautifulSoup处理
import requests Target='http://202.118.31.197/ACTIONLOGON.APPPROCESS' Data={"WebUserNO":"#####","######":"86458043", "Agnomen":" ","submit.x":"-664","submit.y":"-166", "applicant":"ACTIONQUERYSTUDENTSCHEDULEBYSELF"} r = requests.post(Target,Data) print r.text
这一段是最简单的requests模块登陆。 之后获得html页面就可以用
BeautifulSoup模块进行处理了。
from bs4 import BeautifulSoup html = r.text soup = BeautifulSoup(html) soup.find("div")
之后调用soup模块就可以定点查询。定点查所要的数据了。
提供两个链接 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 这是BeautifulSoup的用法。
跟 http://docs.python-requests.org/en/latest/ requests的用法。。
两个都很详细。。
然后查成绩就麻烦一点了。要开session。查询两次。。
import requests Target='http://202.118.31.197/ACTIONLOGON.APPPROCESS' Data={"WebUserNO":"######","Password":"#####", "Agnomen":" ","submit.x":"-664","submit.y":"-166", "applicant":"ACTIONQUERYSTUDENTSCHEDULEBYSELF"} s = requests.session() r1 = s.post(Target,Data) print r1.text T2 = 'http://202.118.31.197/ACTIONQUERYSTUDENTSCORE.APPPROCESS' D2 = {"YearTermNO":"18"} r2 = s.post(T2,D2) print r2.text
之后同样用 BeautifulSoup处理
相关文章推荐
- python requests 自动管理 cookie 。 get后进行post发送数据---》最简单的刷票
- java 实现类似于python requests包的Session类,自动管理cookie。
- python2:通用的抓取网页函数: get、post、自动管理cookie
- 使用HttpClient 4.3.4 自动登录并抓取中国联通用户基本信息和账单数据,GET/POST/Cookie
- 抓取安居客二手房经纪人数据,python爬虫自动翻页
- asp.net 程序自动提交登陆表单并保持Session及Cookie
- python-requests 简单实现数据抓取
- J2EE学习总结之——会话数据管理cookie和Session
- [ python3 ] 基于zabbix 自动抓取每天监控数据
- 抓取网站内容过程中Session和cookie保持的问题
- 关于requests的session方法保持不了cookie的问题。
- python post数据后读取cookie ,session
- python淘宝爬虫基于requests抓取淘宝商品数据
- 使用python抓取并分析数据—链家网(requests+BeautifulSoup)(转)
- 关于requests的session方法保持cookie的问题。
- 笔记之Servlet的会话管理技术(cookie、session)(应用:用户自动登录、防表单重复提交)
- python淘宝爬虫基于requests抓取淘宝商品数据
- python爬虫之requests抓取数据
- asp.net 程序自动提交登陆表单并保持Session及Cookie
- 一个极其简洁的Python网页抓取程序,自动从雅虎财经抓取股票数据