Python 爬取 猫眼 top100 电影例子
2017-11-22 16:46
489 查看
一个Python 爬取猫眼top100的小栗子
import json import requests import re from multiprocessing import Pool #//进程池 from requests.exceptions import RequestException #请求单页 def get_one_page(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36' } response = requests.get(url,headers=headers) if response.status_code == 200: return response.text return None except RequestException: return None #解析页面 def parse_one_page(html): pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S) items = re.findall(pattern, html) print(items) for item in items: yield { 'index':item[0], 'image': item[1], 'title': item[2], 'actor': item[3].strip()[3:], 'time':item[4].strip()[5:], 'score': item[5]+item[6] } def main(offset): url = 'https://maoyan.com/board/4?offset='+str(offset) html = get_one_page(url) htmls=parse_one_page(html) for item in htmls: print(item) wirte_to_file(item) #写入文件 #写到文件中 def wirte_to_file(content): with open('result.txt','a') as f: f.write(json.dumps(content)+'\n') f.close() #开始调用 if __name__ =='__main__': #普通方式 for item in range(10): main(str(item*10)) #线程池 # pool = Pool() # pool.map(main,[i*10 for i in range(10)])
相关文章推荐
- python 爬虫项目-爬取猫眼top100电影
- Python爬虫,用于抓取豆瓣电影Top前100的电影的名称
- 【Python简单爬虫设计】对豆瓣TOP100的电影名及简要的爬取
- 一个简单的python爬虫程序 爬取豆瓣热度Top100以内的电影信息
- Python爬取猫眼top100排行榜数据【含多线程】
- python3 爬取猫眼榜单top100(requests+beautifulsoup)
- Python爬取猫眼电影TOP100
- [Python爬虫]1.豆瓣电影Top250
- 猫眼爬虫Top100
- 利用 Python 爬取豆瓣电影排行榜 Top250 的数据
- [151116 记录] 使用Python3.5爬取豆瓣电影Top250
- [python爬虫入门]爬取豆瓣电影排行榜top250
- Python爬取豆瓣电影top250
- 用python学习抓取借鉴取豆瓣电影top250
- Python爬虫豆瓣电影top250
- python正则表达式爬取猫眼电影top100
- 使用Python3.5爬取豆瓣电影Top250
- python中lxml+cssselect爬取豆瓣电影Top250
- 【Python爬虫】从零开始玩转爬虫——Top电影信息爬取
- 笔记-多进程抓取猫眼TOP100