简单的解析Google Scholar数据
2013-11-11 22:18
337 查看
现在只是简单的查询一篇文章,但是可以给python小白用户(比如像我这样的
)提供启发,直接上代码:
【1】写的挺好的。只是需注意这个url千万别多写空格,但是这个hl=zh-CN不明白是啥东西,而且直接搜这篇文章会多加好多东西,比如&btnG=&lr=,也不知道啥意思。
参考:
【1】关于python抓取google搜索结果的若干问题 http://www.cnblogs.com/meibenjin/archive/2013/05/01/3053262.html
)提供启发,直接上代码:
import urllib2 import re, random from bs4 import BeautifulSoup def GoogleScholarTitle(queryTitle): user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0',\ 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0',\ 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+',\ '(KHTML, like Gecko) Element Browser 5.0',\ 'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', \ 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', \ 'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', \ 'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko)',\ 'Version/6.0 Mobile/10A5355d Safari/8536.25', \ 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)', \ 'Chrome/28.0.1468.0 Safari/537.36', \ 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)'] queryTitle = urllib2.quote(queryTitle.replace(' ', '+')) ## queryTitle = queryTitle.replace(' ', '+') ## print queryTitle url = 'http://scholar.google.com.hk/scholar?hl=zh-CN&q=%s' % queryTitle request = urllib2.Request(url) index = random.randint(0, 9) user_agent = user_agents[index] request.add_header('User-agent', user_agent) response = urllib2.urlopen(request) html = response.read() result = BeautifulSoup(html) print result title = 'A Coarse-to-fine approach for fast deformable object detection' GoogleScholarTitle(title)
【1】写的挺好的。只是需注意这个url千万别多写空格,但是这个hl=zh-CN不明白是啥东西,而且直接搜这篇文章会多加好多东西,比如&btnG=&lr=,也不知道啥意思。
参考:
【1】关于python抓取google搜索结果的若干问题 http://www.cnblogs.com/meibenjin/archive/2013/05/01/3053262.html
相关文章推荐
- Ext.data.xxxStore 数据解析的简单运用
- Android 解析后台返回为Json数据的简单例子!!!
- Android 解析后台返回为Json数据的简单例子!!!
- 及其简单的Rxjava+Retrofit+Fresco+ok,mvp小Dome解析数据
- Android 解析后台返回为Json数据的简单例子!!!
- 【转载】Java数据接口编写简单例子,Java Json解析,服务端接口输出Json数据,客户端通过HTTP获取接口Json数据,作者:Jaiky_杰哥
- 简单新闻客户端(3)---网络数据请求,json包解析
- jQuery解析json格式数据简单实例
- xml数据的简单解析
- 【Android 网络数据解析实现一个简单的新闻实例(一)】
- 学习笔记 Tianmao 篇 使用简单封装后的自定义OkHttp 获取json被GSON解析后的数据
- JQuery插件第三十六个:简单解析json生成数据表格
- 最简单简洁高效的Json数据解析
- 简单解析json数据(接上篇创建json数据)
- GSON框架解析json数据简单使用
- android使用Jsoup进行html数据解析简单实例浅析
- JavaScript解析json格式数据简单示例
- 3.NSNumber,NSValue,NSData,NSDate及简单数据解析
- 简单json数据解析-java篇
- jQuery解析json格式数据简单实例