Python爬虫手记(三):全球行情实时监控
2014-12-07 16:49
337 查看
问题描述:
以重要经济参数为例,进一步巩固爬虫和数据库使用技巧:完成对国际现货与期货石油价格、美元人民币汇率、美元指数等数据的实时监控,采样频率为一小时一次,相关数据的采样页面需要自己搜索。
看到问题,心里大概就有一个底了:首先找到一个网页能显示原油价格,找到其url,然后用正则抠出来,其他三个也类似。那我们接下来走走看。
1、寻找URL
首先百度一下美元指数吧,进去看到这样的网页:
用F12,监控网络,使用它的搜索功能,搜索上图中红色的美元指数:'89.3700',其中多个地方有它的出现,都看了遍,发现了这个:
找了找,这里面也有我要的其他指标!接下来用正则把它扣出来就好了。
这是我的代码:
<span style="font-size:14px;">def dollar():
req = urllib2.Request(url_dollar)
data = urllib2.urlopen(req).read()
print data
r1 = 'var hq_str_DINIW="(.*?),(.*?),'
r2 = 'var hq_str_hf_CL="(.*?),'
r3 = 'var hq_str_USDCNY="(.*?),(.*?),'
m1 = re.compile(r1).findall(data)
m2 = re.compile(r2).findall(data)
m3 = re.compile(r3).findall(data)
print '时间:',m1[0][0],'美金指数:',m1[0][1],'原油指数',m2[0],'人民币美金汇率:',m3[0][1]
</span>
每小时执行一次只要加循环就可以了。
然后就是将所得数据存入数据库。
完整代码见我的github:https://github.com/deepexpert-chenkai
以重要经济参数为例,进一步巩固爬虫和数据库使用技巧:完成对国际现货与期货石油价格、美元人民币汇率、美元指数等数据的实时监控,采样频率为一小时一次,相关数据的采样页面需要自己搜索。
看到问题,心里大概就有一个底了:首先找到一个网页能显示原油价格,找到其url,然后用正则抠出来,其他三个也类似。那我们接下来走走看。
1、寻找URL
首先百度一下美元指数吧,进去看到这样的网页:
用F12,监控网络,使用它的搜索功能,搜索上图中红色的美元指数:'89.3700',其中多个地方有它的出现,都看了遍,发现了这个:
找了找,这里面也有我要的其他指标!接下来用正则把它扣出来就好了。
这是我的代码:
<span style="font-size:14px;">def dollar():
req = urllib2.Request(url_dollar)
data = urllib2.urlopen(req).read()
print data
r1 = 'var hq_str_DINIW="(.*?),(.*?),'
r2 = 'var hq_str_hf_CL="(.*?),'
r3 = 'var hq_str_USDCNY="(.*?),(.*?),'
m1 = re.compile(r1).findall(data)
m2 = re.compile(r2).findall(data)
m3 = re.compile(r3).findall(data)
print '时间:',m1[0][0],'美金指数:',m1[0][1],'原油指数',m2[0],'人民币美金汇率:',m3[0][1]
</span>
每小时执行一次只要加循环就可以了。
然后就是将所得数据存入数据库。
完整代码见我的github:https://github.com/deepexpert-chenkai
相关文章推荐
- iPhone全球实时监控软件下载-CTU Camera Pro下载地址
- python 实现实时监控snapshot 状态
- python 利用爬虫监控百度免费试用网页是否有使用机会
- 爬虫 监控 自动 匹配 抓取 卡饭 论坛 帖子 发邮件 python
- Python爬虫之Spark Streaming任务监控
- 全球金融市场实时行情图集
- [转]用python 10min手写一个简易的实时内存监控系统
- 用python 10min手写一个简易的实时内存监控系统
- 用Python实现Hadoop实时作业状态监控
- Python3获取股票行情数据(中国个股/中国指数/全球指数)
- 通过python和websocket构建实时通信系统[扩展saltstack监控] 推荐
- Python3获取股票行情数据(中国个股/中国指数/全球指数)
- 用python 10min手写一个简易的实时内存监控系统
- 菜鸟python入门爬虫手记
- iPhone全球实时监控软件CTU Camera Pro下载地址
- Python3获取股票行情数据(中国个股/中国指数/全球指数)
- Python3获取股票行情数据(中国个股/中国指数/全球指数)
- python实现实时监控文件的方法
- 基于python的websocket开发,tomcat日志web页面实时打印监控案例
- 用python 10min手写一个简易的实时内存监控系统