使用selenium抓取最右搞笑视频存入本地python3
2017-07-28 11:20
411 查看
import os # 使用系统模块创建文件夹 from time import sleep # 打开浏览器后休眠时间 也可以是用selenium中自己的上方法 from selenium.webdriver.support.ui import WebDriverWait # 这个是selenium中自带的方法 import requests # 使用requests获取抓取到的视频链接 from lxml import etree # 使用xpath查找元素 from selenium import webdriver # 使用selenium中的webdriver中的方法获取js加载的也米娜 # 自定义的类 class ZuiYou(object): # 初始化 def __init__(self): # 自定义你要抓取的链接url 这个链接是最右上面的搞笑视频 self.url = 'https://zuiyou.ixiaochuan.cn/home' # 使用的chrome浏览器 self.driver = webdriver.Chrome() # 定义你抓取到的视频放到哪里 self.path = 'D://搞笑视频' # 定义函数得到数据 def get_yuan(self): # 判断一下你d盘下有没有这个路径有的话打开没有的话创建 if not os.path.exists(self.path): os.mkdir(self.path) # 创建这个文件 os.chdir(self.path) # 打开这个文件 self.driver.get(self.url) # 得到你到解析的网页 self.driver.maximize_window() # 浏览器放大 sleep(1) # 休眠一秒 self.driver.execute_script('window.scrollBy(0, 30000)') # 下拉滚动条 sleep(3) # 得到你的整个视频那一块的代码 video = etree.HTML(self.driver.page_source).xpath( '//*[@id="app"]/div/div/div[1]/div[2]/div/div[1]/div[1]/div/div[2]') # 遍历你得到的整个视频 for i in video: # 得到作者的名称 title = i.xpath('div[1]/div/text()') if not os.path.exists(title[0]): os.mkdir(title[0]) # 以作者的名称创建文件夹 for j in i.xpath('div[2]/a/@href'): # 找到视频的链接 request = requests.get(j).content # 得到视频 with open(title[0] + '\\' + j[-8:] + '.mp4', 'wb') as e: print('写入的是%s' % title) e.write(request) # 写入视频 # 代码调试片段 if __name__ == '__main__': SJ = ZuiYou() SJ.get_yuan()
相关文章推荐
- 小猪的Python学习之旅 —— 5.使用Selenium抓取JavaScript动态生成数据的网页
- Python抓取网页动态数据——selenium webdriver的使用
- 使用selenium和phantomjs抓取淘宝衣服并存入mongodb
- Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
- Python爬虫入门实战七:使用Selenium--以抓取QQ空间好友说说为例
- Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
- Python使用爬虫抓取美女图片并保存到本地的方法【测试可用】
- Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能示例
- Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
- Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
- 使用python3抓取新浪股票使用beautifulsoup解析和selenium
- Python使用Selenium + PhantomJS抓取动态网页:今日头条
- 使用Python+selenium+BeautifulSoup抓取动态网页的关键信息
- Python使用Selenium模块模拟浏览器抓取斗鱼直播间信息示例
- 使用Python抓取网页信息
- 使用python抓取网页(以人人网新鲜事和团购网信息为例)
- Python使用mechanize模拟登录、抓取数据的代码
- 使用Python来获得本地的IP地址
- python使用urllib2抓取网页
- 使用Python来获得本地的IP地址