爬豆瓣正在热映和即将上映电影信息
2014-12-26 00:00
489 查看
摘要: 爬豆瓣正在热映和即将上映电影信息
之前有个需求就是获取豆瓣电影上正在热映和即将热映的电影信息,开始求希望于豆瓣电影的api,发现豆瓣电影的这两个接口的权限是需要商业合作的,最后索性自己爬下来!
爬的是豆瓣电影的ID,通过这个ID可以通过豆瓣电影的开放API获取对应ID电影的详细信息,豆瓣总算没有把事情做绝了!
需要用的python模块有BeautifulSoup,请自行下载之!
之前有个需求就是获取豆瓣电影上正在热映和即将热映的电影信息,开始求希望于豆瓣电影的api,发现豆瓣电影的这两个接口的权限是需要商业合作的,最后索性自己爬下来!
爬的是豆瓣电影的ID,通过这个ID可以通过豆瓣电影的开放API获取对应ID电影的详细信息,豆瓣总算没有把事情做绝了!
需要用的python模块有BeautifulSoup,请自行下载之!
#coding:utf-8 import urllib2from BeautifulSoup import BeautifulStoneSoup import cookielibHOST_URL = ' class DoubanMovies: def __init__(self): self.url = '' def openUrl(self): cj = cookielib.CookieJar() openUrl = urllib2.urlopen(self.url) cjHander = urllib2.HTTPCookieProcessor(cj) opener = urllib2.build_opener(cjHander) urllib2.install_opener(opener) return openUrl.readlines() #tag=p是正在热映的影片id #tag=h3是即将上映影片的id def getMovieId(self,tag): movieStr = '' movieId =[] for html in self.openUrl(): movieStr += str(html).strip() soup = BeautifulStoneSoup(movieStr.strip('')) for con in soup.findAll(tag): res = BeautifulStoneSoup(str(con)) movieId.append(str(res.a["href"]).split("/")[-2]) return movieId #正在热映影片ID def nowPlaying(self): movie_id = [] for i in range(1,3,1): url = HOST_URL + '/movie/recent/now?page=' + str(i)+'&session=833b8d4c' self.url = url for id in self.getMovieId('p'): movie_id.append(id) return movie_id #即将上映影片ID def soonPlaying(self): url = r'http://movie.douban.com/later/shanghai/' self.url = url self.openUrl() return self.getMovieId('h3') #http://api.douban.com/v2/movie/subject/movieId(豆瓣接口) if __name__ == "__main__": print DoubanMovies().nowPlaying()
相关文章推荐
- 简单的PHP爬虫,获取豆瓣正在热映电影列表
- 爬取豆瓣网正在上映电影信息(HTMLParser实现)
- 用python+selenium抓取豆瓣电影中的正在热映前12部电影并按评分排序
- 基于豆瓣电影API爬取城市正在热映电影评分
- 用python+selenium抓取豆瓣电影中的正在热映前12部电影并按评分排序
- 一次用爬虫扒取豆瓣电影条目信息的尝试
- 豆瓣分类排行电影信息
- golang 简单爬虫,245行代码爬取豆瓣电影电视剧等信息并保存到excel
- 爬虫入门:python+pycharm,豆瓣电影信息,短评,分页爬取,mysql数据库连接
- 2013 即将上映电影
- 用Scrapy对豆瓣top250进行电影详细信息爬取
- 基于BeautifulSoup爬取豆瓣网上的电影信息
- 基于豆瓣API的电影信息浏览程序
- 综合应用:《购票系统》显示正在上映的电影
- 爬取豆瓣TOP250电影的评分、评价人数、短评等信息,并在其保存在sql数据库中。
- Python3.6爬虫爬取豆瓣电影Top250信息
- python 爬虫学习三(Scrapy 实战,豆瓣爬取电影信息)
- 【python】自动获取豆瓣电影信息
- Python爬虫入门2 | 爬取豆瓣电影信息
- Python爬虫(1)——基于BeautifulSoup爬取豆瓣电影信息