python 3 关于requests库的 text / content /json
2016-11-30 10:01
357 查看
最近在爬SDFDA的数据,刚开始用urllib.request 库,一直连不到数据 ;
后来通过CHROME浏览器的F12,发现该 网站用的是JSON格式{}'Content-Type': 'application/json',},不同于以往的提交方式“Content-Type: text/html; charset=utf-8"
试了各种方法 ,一直不能取得数据。
看的许多介绍方法中有用“requests”库的,一试果然简单方便,可以直接发送JSON格式的数据参数;下载安装后,导入“import resquest”
很快以往的问题得到解决,能将想要页面内容读取出来,但显示的是\u9882十六进制的编码,没有办法继续“百度”,
发现了requests库中的,content 属性和JSON属性,一试果然见效;
查了下资料:
resp.text返回的是Unicode型的数据。
resp.content返回的是bytes型的数据。
也就是说,如果你想取文本,可以通过r.text。
如果想取图片,文件,则可以通过r.content。
(resp.json()返回的是json格式数据)
学习路上的坑还没有完。
一直在PYTHON 客户端中试的好好的,一到CMD执行程序就变成了以上的提示;认真对比了两边的代发现:
content = req.json 和
content = req.json()
带()返回的是JSON的数据,req.json 只返回类型为method 的一个提示;
后来通过CHROME浏览器的F12,发现该 网站用的是JSON格式{}'Content-Type': 'application/json',},不同于以往的提交方式“Content-Type: text/html; charset=utf-8"
试了各种方法 ,一直不能取得数据。
看的许多介绍方法中有用“requests”库的,一试果然简单方便,可以直接发送JSON格式的数据参数;下载安装后,导入“import resquest”
很快以往的问题得到解决,能将想要页面内容读取出来,但显示的是\u9882十六进制的编码,没有办法继续“百度”,
发现了requests库中的,content 属性和JSON属性,一试果然见效;
查了下资料:
resp.text返回的是Unicode型的数据。
resp.content返回的是bytes型的数据。
也就是说,如果你想取文本,可以通过r.text。
如果想取图片,文件,则可以通过r.content。
(resp.json()返回的是json格式数据)
#-*- coding:utf-8 -*- #读取山东FDA的药品GSP认证经营企业数据 # 20161128 zhangshaohua import re import requests import json #读取首页 url = 'http://124.128.39.251:9080/sdfdaout/jsp/datasearch/searchinfolist.jsp?pageSize=10&entType=drugGSP&thisPage=1' url = 'http://124.128.39.251:9080/sdfdaout/jsp/datasearch/searchinfolist.jsp?pageSize=10&thisPage=2&entType=drugGSP' #url = 'http://124.128.39.251:9080/sdfdaout/jsp/datasearch/searchinfolist.jsp?pageSize=10&thisPage=12&entType=drugGSP' #取总记录数,每页20条#zjls = getContent(url,'共(\d{1,5})页','UTF-8') headers = { 'Host': '124.128.39.251:9080', 'Proxy-Connection': 'keep-alive', 'Content-Length': '256', 'Origin': 'http://124.128.39.251:9080', 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36', 'Content-Type': 'application/json', 'Accept': '*/*', 'Referer': 'http://124.128.39.251:9080/sdfdaout/jsp/datasearch/searchinfolist.jsp', 'Accept-Encoding': 'gzip, deflate', 'Accept-Language': 'zh-CN,zh;q=0.8', } url = 'http://124.128.39.251:9080/sdfdaout/command/ajax/com.lc.datasearch.cmd.SearchInfoQueryCmd' parms = {"params":{"javaClass":"org.loushang.next.data.ParameterSet","map":{"limit":10,"start":10,"entType":"drugGSP","defaultSort":{"javaClass":"ArrayList","list":[]},"dir":"ASC","needTotal":True},"length":7},"context":{"javaClass":"HashMap","map":{},"length":0}} values = json.dumps(parms) req = requests.post(url,data=values,headers=headers) content = req.json() print(content) print(type(content)) print('药品零售企业读取完成!')
学习路上的坑还没有完。
一直在PYTHON 客户端中试的好好的,一到CMD执行程序就变成了以上的提示;认真对比了两边的代发现:
content = req.json 和
content = req.json()
带()返回的是JSON的数据,req.json 只返回类型为method 的一个提示;
相关文章推荐
- python中requests库content和text的区别
- 关于<meta http-equiv="Content-Type" content="text/html:charset=UTF-8">
- Spring MVC关于IE对application/json的content-type不支持解决方案---duang 解决了
- Python的requestcontent和text的区别
- 关于loadrunner使用web_add_header添加HTTP信息头(比如Content-Type,token等)和使用web_custom_request()提交json数据
- Python 中requests 模块text 和content 差别
- python-json-javascript之间关于字符集的转换问题
- 转!! 关于jsp编码设置 <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%>
- 关于Translation failed for content-type:text/vnd.wap.wml的解决方法
- 关于AF请求报错Request failed: unacceptable content-type: text/plain 解决方案
- python2.7中关于编码,json格式的中文输出显示
- 关于Python的JSON
- AFNetworking 关于JSON text did not start with array or object and option to allow fragments not set
- Python下关于JSON的一些事儿
- 关于python中json load出来编码为unicode的问题的解决
- AFNetworking 2.0 获取json数据时,返回 NSLocalizedDescription=Request failed: unacceptable content-type: text/html, 解决方法.
- 微信解析xml和maven中jar关于getTextContent()冲突
- python_requests的content和text方法的区别
- iOS开发 AFNetworking 关于JSON text did not start with array or object and option to allow fragments not
- python3 requests的content和text方法