好玩的API调用之---天气预报的API调用与爬虫

好玩的API调用之—天气预报的API调用与爬虫

平时写程序经常需要用到一些服务，像翻译，天气预报，星座什么的，我一般都是用Python写个爬虫去提供这些服务的网站爬数据，但是有些网站对爬虫有很多限制，一些关键字会定时更改，就像中国天气网经常变更HTML标签的class值，这就需要时常维护爬虫，而聚合数据API只对普通用户提供一个免费API接口，简直垃圾，而网上的一些网站其实有开放的API供开发者调用，所以我想着把自己发现的好玩的API和自己写的爬虫写个博客专题供大家参考，我会继续补充和维护。

第四个专题是关于天气预报的API调用与爬虫，聚合数据里的天气预报接口还收费，真是lj，我一开始用爬虫爬中国天气网里的数据进行分析，后来发现了和风天气这个良心网站，不仅提供免费的接口，而且天气预报数据也很多很丰富。今天就写中国天气网的爬虫和和风天气的api调用。

1.中国天气网的网址http://www.weather.com.cn/，先在里面找到自己的城市，然后把网址复制下来，就像我的是呼和浩特市http://www.weather.com.cn/weather1d/101080101.shtml，就是下图这样的。

下面是我爬虫的代码，就不做详细解释。

#-*- coding=utf8 -*-
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
import urllib2
from bs4 import BeautifulSoup
import time
def download(url,headers):
try:
request = urllib2.Request(url,headers=headers)
html = urllib2.urlopen(request).read()
# html = urllib2.urlopen(url).read()
except urllib2.URLError as e:
print "error"
print e.code   #可以打印出来错误代号如404。
print e.reason  #可以捕获异常
html = None
return html
def save(html):
f = open('thefile.txt', 'w')
f.write(html)
f.close()
def read_file():
f = open('thefile.txt', 'r')
html = f.read()
f.close()
return html
def get_html(url):
User_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'
headers = {'User_agent': User_agent}
html = download(url, headers)
save(html)
def weather():
url = 'http://www.weather.com.cn/weather/101080101.shtml'
get_html(url)
html = read_file()
soup = BeautifulSoup(html)
text = ""
text = text + "明天的天气是：" + soup.find('li', class_='sky skyid lv1').p.string + "\n"
text = text + "最高温度：" + soup.find('li', class_='sky skyid lv1').span.string + "最低温度：" + soup.find('li',
class_='sky skyid lv1').i.string + "\n"

# print soup.find('li',class_='sky skyid lv2').p.string
# print soup.find('li',class_='sky skyid lv2').span.string
# print soup.find('li',class_='sky skyid lv2').i.string
html = soup.find('li', class_='sky skyid lv1')
html2 = soup.find_all('div', class_='hide')[1]
soup = BeautifulSoup(str(html))
text = text + "明天的风是：" + soup.find_all('i')[1].string + '\n'
# print soup.find_all('i')[1].string
soup = BeautifulSoup(str(html2))
text = text + "而紫外线指数是：" + soup.find_all('span')[0].string + "  建议：" + soup.find_all('p')[0].string + '\n'
text = text + "当然还有感冒指数：" + soup.find_all('span')[1].string + "  建议：" + soup.find_all('p')[1].string + '\n'
text = text + "最后是穿衣指数：" + soup.find_all('span')[2].string + "  " + soup.find_all('p')[2].string + '\n'
# print soup.find_all('span')[1].string
# print soup.find_all('span')[0].string
# print soup.find_all('p')[0].string
return text
if __name__=='__main__':
weather_text = weather()

2.打开和风网站，网址是这个https://www.heweather.com，然后注册账号，找到自己的KEY，再打开这个API说明。

可以自己参考API这几种数据，我只使用的3-10天气预报和生活指数，还有天气图片。因为和风网站返回的是json格式数据，如下图。

我是使用Python做数据的解析，各种数据已经提取出来，后面都有注释，下面是代码

#-*- coding=utf8 -*-
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
import urllib2
import json
import re
def download(url):
html = urllib2.urlopen(url)
return html.read()
def weather():
# all全部的天气数据
all_url = 'https://free-api.heweather.com/v5/weather?city=CN101080101&key=5c043b56de9f4371b0c7f8bee8f5b75e'
# 3天预报
forecast_url = 'https://free-api.heweather.com/v5/forecast?city=CN101080101&key=5c043b56de9f4371b0c7f8bee8f5b75e'
#生活指数
sugg_url = 'https://free-api.heweather.com/v5/suggestion?city=CN101080101&key=5c043b56de9f4371b0c7f8bee8f5b75e'
# 天气图标
photo_url = 'https://cdn.heweather.com/cond_icon/100.png'

#天气情况的内容提取------------开始
html = download(forecast_url)
max_tmp = re.findall('max":"(.*?)"', html)[0]  #最高温度
min_tmp = re.findall('min":"(.*?)"', html)[0]  #最低温度
photo = re.findall('code_d":"(.*?)"', html)[0] #天气图片
txt_d = re.findall('txt_d":"(.*?)"', html)[0] #天气情况
dir = re.findall('dir":"(.*?)"', html)[0]  # 风向
sc = re.findall('sc":"(.*?)"', html)[0]  # 风力
print max_tmp,min_tmp,photo,txt_d,dir,sc

#生活指数等内容的提取-----------开始
html = download(sugg_url)
brf = re.findall('brf":"(.*?)"', html)
txt = re.findall('txt":"(.*?)"', html)
comf_brf = brf[0]#舒适度指数
comf_txt = txt[0]
cw_brf = brf[1]#洗车指数
cw_txt = txt[1]
drsg_brf = brf[2]#穿衣指数
drsg_txt = txt[2]
flu_brf = brf[3]#感冒指数
flu_txt = txt[3]
sport_brf = brf[4]#运动指数
sport_txt = txt[4]
trav_brf = brf[5]#旅游指数
trav_txt = txt[5]
uv_brf = brf[6]# 紫外线指数
uv_txt = txt[6]
print comf_brf,comf_txt
print cw_brf,cw_txt
print drsg_brf,drsg_txt
print flu_brf,flu_txt
print sport_brf,sport_txt
print trav_brf,trav_txt
print uv_brf,uv_txt
# brf = brf[0].decode('utf-8')
# dict_html = dict(result)
# print dict_html
#json格式无法提取
# json_html = json.loads(html)
# print json_html
# html = str(json_html['HeWeather5'])
# json_html = json.loads(html)
# print json_html['basic']
def main():
weather()
if __name__ == "__main__":
main()

数据处理以后的效果

最后还有webServer也提供服务，但需要注册，返回的数据也没有和风天气返回的数据丰富，所以我没使用，有兴趣的可以参考。这是网址http://webservice.36wu.com/weatherService.asmx