Python爬虫入门之request函数定制
2016-06-18 14:31
639 查看
爬虫入门 - 定制合适的请求函数
(以下代码仅供参考和学习使用,勿非法使用,thx)
#coding=utf-8
import time
import random
from requests.exceptions import *
from requests import request
'''
example:
options = {
'method':'get',
'url':'http://www.eprc.com.hk/EprcWeb/multi/transaction/login.do',
'form':None,
'params':None,
'cookies':None,
'headers':headers,
}
response = basicRequest(options)
'''
def basicRequest(options,resend_times=3):
'''
:param options: 请求参数
:param resend_times: 重发次数
:return: response对象或False
'''
# proxies = {'http':'http://127.0.0.1:8888','https':'http://127.0.0.1:8888'}
options['timeout'] = options['timeout'] if 'timeout' in options.keys() else 3
try :
response = request(
options['method'],
options['url'],
verify = True,
timeout = options['timeout'],
# proxies = proxies,
data = options['form'],
params = options['params'],
cookies = options['cookies'],
headers = options['headers']
)
except Timeout :
if resend_times > 0 :
time.sleep(random.uniform(0,2))
options['timeout'] += 3
return basicRequest(options, resend_times-1)
else:
return False
except RequestException :
if resend_times > 0 :
time.sleep(random.uniform(0,2))
return basicRequest(options, resend_times-1)
else :
return False
else :
return response
afanty 的分析:
对request的函数进行了函数包装,参数都是一个demo,这样便于开发,同时对异常的处理可以自己来指定。
(以下代码仅供参考和学习使用,勿非法使用,thx)
#coding=utf-8
import time
import random
from requests.exceptions import *
from requests import request
'''
example:
options = {
'method':'get',
'url':'http://www.eprc.com.hk/EprcWeb/multi/transaction/login.do',
'form':None,
'params':None,
'cookies':None,
'headers':headers,
}
response = basicRequest(options)
'''
def basicRequest(options,resend_times=3):
'''
:param options: 请求参数
:param resend_times: 重发次数
:return: response对象或False
'''
# proxies = {'http':'http://127.0.0.1:8888','https':'http://127.0.0.1:8888'}
options['timeout'] = options['timeout'] if 'timeout' in options.keys() else 3
try :
response = request(
options['method'],
options['url'],
verify = True,
timeout = options['timeout'],
# proxies = proxies,
data = options['form'],
params = options['params'],
cookies = options['cookies'],
headers = options['headers']
)
except Timeout :
if resend_times > 0 :
time.sleep(random.uniform(0,2))
options['timeout'] += 3
return basicRequest(options, resend_times-1)
else:
return False
except RequestException :
if resend_times > 0 :
time.sleep(random.uniform(0,2))
return basicRequest(options, resend_times-1)
else :
return False
else :
return response
afanty 的分析:
对request的函数进行了函数包装,参数都是一个demo,这样便于开发,同时对异常的处理可以自己来指定。
相关文章推荐
- Python爬虫入门之request函数定制
- Python爬虫入门之request函数定制
- Python爬虫入门之request函数定制
- Python爬虫入门之request函数定制
- Python爬虫入门之request函数定制
- Python 流程控制
- python 列表推导式----轻量级循环
- scikit-learn : 线性回归
- Spark RDD编程(Python和Scala版本)
- Pycharm-颜色设置
- 190. Reverse Bits [easy] (Python)
- Python爬虫学习系列教程
- Python包的编写和使用
- Python day01周
- Python模块的编写和调用
- VII Python(5)基础知识(模块、包、异常)
- python学习笔记9-函数递归调用
- 【p1】·python的下载与安装(pigeon详细说)
- 编译原理-词法分析-语法分析-语义分析生成中间代码-python版
- python反射