python爬虫OS X环境搭建
2017-10-19 22:29
363 查看
将windows平台的爬虫代码,移值到mac平台执行,重新搭建了下运行环境。需要安装python、相关包及phantomjs平台。
Homebrew的安装
Homebrew是Mac OSX上的软件包管理工具,能在Mac中方便的安装软件或者卸载软件,类似ubuntu系统下的apt-get的功能。网站地址http://brew.sh/ ,在Mac中打开终端, 输入命令:ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)"。完成后,即可以使用brew install
packagename进行软件安装,类似命令还有brew uninstall、brew list、brew list等等。
meld的安装问题
新版本homebrew的meld位置有所改变,需要使用brew install caskroom/cask/meld进行安装。
python版本的安装
mac os本身安装了python2.7版本,默认使用python命令即为原系统python。当使用homebrew安装python时,需要使用brew install python3进行3.x版本的安装。同样系统调用link成不同与python的名字如python3、python3.x等。
python爬虫相关包的安装
理解上python3.x后的版本集成了pip功能:
pip -mpip install -U requests
pip -mpip install -U selenium
pip -mpip install -U BS4
pip -mpip install -U scrapy
... ...
phantomjs的安装
官方地址http://phantomjs.org/download.html,网络速度一直比较慢,难以下载,最后通过镜像地
4000
址http://npm.taobao.org/dist/phantomjs/进行下载。
关于环境变量的添加
将phantomjs放置/usr/local,需要添加环境变了 /usr/local/phantomjs/bin,方式如下:
sudo emacs ~/.bash_profile
export PATH=$PATH:/usr/local/phantomjs/bin
通过echo $PATH命令显示环境的变量,前后比较就可发现在PATH变量后面加多一个目录/usr/local/phantomjs/bin,注意重启终端后才能起效。
测试代码,test.py
执行成功,结果如下:
脚本名: test.py
vlaue:45.78
Homebrew的安装
Homebrew是Mac OSX上的软件包管理工具,能在Mac中方便的安装软件或者卸载软件,类似ubuntu系统下的apt-get的功能。网站地址http://brew.sh/ ,在Mac中打开终端, 输入命令:ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)"。完成后,即可以使用brew install
packagename进行软件安装,类似命令还有brew uninstall、brew list、brew list等等。
meld的安装问题
新版本homebrew的meld位置有所改变,需要使用brew install caskroom/cask/meld进行安装。
python版本的安装
mac os本身安装了python2.7版本,默认使用python命令即为原系统python。当使用homebrew安装python时,需要使用brew install python3进行3.x版本的安装。同样系统调用link成不同与python的名字如python3、python3.x等。
python爬虫相关包的安装
理解上python3.x后的版本集成了pip功能:
pip -mpip install -U requests
pip -mpip install -U selenium
pip -mpip install -U BS4
pip -mpip install -U scrapy
... ...
phantomjs的安装
官方地址http://phantomjs.org/download.html,网络速度一直比较慢,难以下载,最后通过镜像地
4000
址http://npm.taobao.org/dist/phantomjs/进行下载。
关于环境变量的添加
将phantomjs放置/usr/local,需要添加环境变了 /usr/local/phantomjs/bin,方式如下:
sudo emacs ~/.bash_profile
export PATH=$PATH:/usr/local/phantomjs/bin
通过echo $PATH命令显示环境的变量,前后比较就可发现在PATH变量后面加多一个目录/usr/local/phantomjs/bin,注意重启终端后才能起效。
测试代码,test.py
#!/usr/bin/python # coding: utf-8 import requests import io from selenium import webdriver import time import sys import re import getURLModule import sys print("脚本名:", sys.argv[0]) for i in range(1, len(sys.argv)): print("bb", i, sys.argv[i]) #driver = webdriver.PhantomJS(executable_path='/usr/local/phantomjs/bin/phantomjs') driver = webdriver.PhantomJS(executable_path='phantomjs') driver.get('http://quote.eastmoney.com/sh603098.html') time.sleep(3) title = driver.find_elements_by_xpath('//h2') # value = driver.find_element_by_id("gt6_2") print('vlaue:%s'%value.text) driver.quit()
执行成功,结果如下:
脚本名: test.py
vlaue:45.78
相关文章推荐
- Python爬虫框架Scrapy 学习笔记 1 ----- 环境搭建
- Python3 大型网络爬虫实战 001 --- 搭建开发环境
- python从零开始写爬虫(1)-- 开发环境搭建
- [置顶] python写网络爬虫的环境搭建(windows完整版)
- Python 爬虫环境搭建
- 【Python学习系列五】Python网络爬虫框架Scrapy环境搭建
- 【实战\聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎项目笔记】第2章 windows下搭建开发环境
- Python3 大型网络爬虫实战 001 --- 搭建开发环境
- python爬虫环境搭建
- Python爬虫Scrapy环境搭建
- Mac环境下搭建Python爬虫环境
- Python开发爬虫环境搭建
- python爬虫环境搭建(windows)
- Python开发爬虫之从虚拟机安装到Scrapy环境搭建
- python爬虫环境简便的搭建方案
- python爬虫实战(1)——开发环境搭建
- 初步探索python(三) pycharm开发环境搭建,爬虫
- 搭建python爬虫环境-lxml-pip-pywin
- Python3学习记录【001】---在不同操作系统中搭建 Python 编程环境
- Win7下搭建Python开发环境[py+pyqt4+Eric4]