python网络爬虫采集联想词示例
python爬虫_采集联想词代码
#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特别提示,下面这个list中的代理ip可能失效,请换上有效的代理ip
iplist = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']list1 = ["集团","科技"]
for item in list1:
ip= choice(iplist)
gjc = urllib.quote(item)
url = "http://sug.so.360.cn/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
headers = {
"GET":url,
"Host":"sug.so.360.cn",
"Referer":"http://www.so.com/",
"User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
}proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener( opener )
req = urllib2.Request(url)
for key in headers:
req.add_header(key,headers[key])html = urllib2.urlopen(req).read()
ss = re.findall("\"(.*?)\"",html)
for item in ss:
print item
time.sleep(2)
您可能感兴趣的文章:
- python网络爬虫采集联想词示例
- python使用rabbitmq实现网络爬虫示例
- python使用rabbitmq实现网络爬虫示例
- Python网络数据采集1:初见网络爬虫
- Python网络数据采集-创建爬虫
- 数据可视化 三步走(一):数据采集与存储,利用python爬虫框架scrapy爬取网络数据并存储
- [置顶] python爬虫之采集——360联想词W2版本
- 迪艾姆python培训_爬虫_采集联想词
- Python实现可获取网易页面所有文本信息的网易网络爬虫功能示例
- python爬虫(1)利用BeautifulSoup进行网络数据采集
- Python网络数据采集13:用爬虫测试网站
- python爬虫之采集360搜索的联想词
- Python实现网络爬虫
- Python实例:网络爬虫抓取豆瓣3万本书(9)
- python3 爬虫 零基础快速上手(爬虫示例)
- centos7下部署python网络爬虫程序及django程序总结
- python实现简单网络爬虫
- Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy
- 用python写网络爬虫-使用xpath代替正则表达式
- Python]网络爬虫