python网络爬虫自动化下载股票类电子书（1）

写了一个自动化下载的程序，下载了几个试了一下，发现当百度云中要下载的文件过大的时候，频繁下载需要验证码的时候，不使用百度云下载的时候，会出现下载失败，程序还要进一步改进。姑且跑一边试试

#2018-02-07：今天又尝试下载了一下，面临两个问题，第一个是百度网盘下载次数多之后会出现验证码，第二个是百度网盘的文件数是几个是不确定的，原代码仅仅只能适用一个文件的情形。后续可以尝试保存到自己的网盘中，不进行下载。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import pandas as pd
import requests
import re
import time
driver=webdriver.Chrome()
def xiazai(myurl):
myrul=url_list[1]
try:
all_handles = driver.window_handles
if len(all_handles)==1:
driver.switch_to_window(all_handles[0])
if len(all_handles)>1:
for i in range(1,len(all_handles)):
driver.switch_to_window(all_handles[i])
driver.close()
driver.switch_to_window(all_handles[0])
driver.get('http://www.88gs.com'+myurl)
#获取下载地址
page=driver.page_source
p_url=re.compile(r"""<ul class="downlistbox">[\s\S]*?<a href="([\s\S]*?)"><img src=""")
url=p_url.findall(page)[0]
#进入下载地址
driver.get('http://www.88gs.com'+url)
driver.find_element_by_partial_link_text('下载地址1').click()
all_handles = driver.window_handles #获取所有窗口句柄
driver.switch_to_window(all_handles[1])
time.sleep(5)
#百度网盘下载
#driver.find_element_by_partial_link_text('下载').click()
driver.find_element_by_xpath('//*[@id="layoutMain"]/div[1]/div[1]/div/div[2]/div/div/div[2]/a[2]/span/span').click()
time.sleep(5)
driver.close() #关闭当前窗口
driver.switch_to_window(all_handles[0]) #返回主窗口
except:
lose_url.append('http://www.88gs.com'+url)
def get_url():
url_list=[]
for i in range(1,132):
print(i)
url='http://www.88gs.com/soft/sort011/list11_'+str(i)+'.html'
#url='http://www.88gs.com/soft/sort011/list11_131.html'
driver.get(url)
page=driver.page_source
p_url=re.compile(r"""mainSoftName"><a href="([\s\S]*?)"[\s\S]*?title=""")
url=p_url.findall(page)
url_list.extend(url)
return url_list
url_list=get_url()
len(url_list)
lose_url=[]
for myurl in url_list[2:]:
xiazai(myurl)
print(myurl)

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import pandas as pd
import requests
import re
driver=webdriver.Chrome('C:/Users/Administrator/Desktop/chromedriver.exe')
def xiazai(myurl):
try:
driver.get('http://www.88gs.com'+myurl)
#获取下载地址
page=driver.page_source
p_url=re.compile(r"""<ul class="downlistbox">[\s\S]*?<a href="([\s\S]*?)"><img src=""")
url=p_url.findall(page)[0]
#进入下载地址
driver.get('http://www.88gs.com'+url)
driver.find_element_by_partial_link_text('下载地址').click()
now_handle = driver.current_window_handle #获取当前窗口句柄
all_handles = driver.window_handles #获取所有窗口句柄
for handle in all_handles:
if handle != now_handle:
print (handle)    #输出待选择的窗口句柄
driver.switch_to_window(handle)
time.sleep(5)
#百度网盘下载
driver.find_element_by_partial_link_text('下载').click()
time.sleep(5)
driver.close() #关闭当前窗口
driver.switch_to_window(now_handle) #返回主窗口
except:
pass
def get_url():
url_list=[]
for i in range(1,132):
print(i)
url='http://www.88gs.com/soft/sort011/list11_'+str(i)+'.html'
#url='http://www.88gs.com/soft/sort011/list11_131.html'
driver.get(url)
page=driver.page_source
p_url=re.compile(r"""mainSoftName"><a href="([\s\S]*?)"[\s\S]*?title=""")
url=p_url.findall(page)
url_list.extend(url)
return url_list
url_list=get_url()
len(url_list)
for myurl in url_list:
xiazai(myurl)
print(myurl)