Shell curl 和 wget 使用代理IP
2017-08-10 21:51
405 查看
Linux Shell 提供两个非常使用的命令来爬取网页,它们分别是 curl 和 wget
curl 和 wget 使用代理
curl 支持 http、https、socks4、socks5
wget 支持 http、https
代理示例:
wget 配置文件设置代理
curl 和 wget 使用代理
curl 支持 http、https、socks4、socks5
wget 支持 http、https
代理示例:
#!/bin/bash # # curl 支持 http、https、socks4、socks5 # wget 支持 http、https # # 米扑代理示例: # http://proxy.mimvp.com/demo2.php # # 米扑代理购买: # http://proxy.mimvp.com # # mimvp.com # 2015-11-09 # http代理格式 http_proxy=http://IP:Port # https代理格式 https_proxy=http://IP:Port {'http': 'http://120.77.176.179:8888'} curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/exist.php # http_proxy wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/exist.php # http_proxy {'https': 'http://46.105.214.133:3128'} curl -m 30 --retry 3 --proxy-insecure -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/exist.php # https_proxy wget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https://proxy.mimvp.com/exist.php # https_proxy # curl 支持socks {'socks4': '101.255.17.145:1080'} curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/exist.php {'socks5': '82.164.233.227:45454'} curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/exist.php # wget 不支持socks
wget 配置文件设置代理
vim ~/.wgetrc http_proxy=http://120.77.176.179:8888:8080 https_proxy=http://12.7.17.17:8888:8080 use_proxy = on wait = 30 wget -T 30 --tries 3 http://proxy.mimvp.com[/code]
Shell 设置临时局部代理# proxy no auth export http_proxy=http://120.77.176.179:8888:8080 export https_proxy=http://12.7.17.17:8888:8080 # proxy auth export http_proxy=http://username:password@120.77.176.179:8888:8080 export https_proxy=http://username:password@12.7.17.17:8888:8080 # 取消设置 unset http_proxy unset https_proxy
Shell 设置系统全局代理# 修改 /etc/profile,保存并重启服务器 sudo vim /etc/profile # 所有人有效 或 sudo vim ~/.bashrc # 所有人有效 或 vim ~/.bash_profile # 个人有效 # proxy no auth export http_proxy=http://120.77.176.179:8888:8080 export https_proxy=http://12.7.17.17:8888:8080 # proxy auth export http_proxy=http://username:password@120.77.176.179:8888:8080 export https_proxy=http://username:password@12.7.17.17:8888:8080 source /etc/profile 或 source ~/.bashrc 或 source ~/.bash_profile sudo reboot
米扑代理示例
米扑代理示例,包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易语言等十多种编程语言或脚本,通过大量的可运行实例,详细讲解了使用代理IP的正确方法,方便网页爬取、数据采集、自动化测试等领域。
米扑代理示例,测试使用的代理IP,全部来自于米扑代理,其覆盖120多个国家,中国34个省市,支持http、https、socks4、socks5等
米扑代理示例官网 :
http://proxy.mimvp.com/demo2.php
参考推荐:
米扑代理之使用示例 (推荐)
mimvp-proxy-demo&nbs
3ff0
p; (GitHub)
Linux 抓取网页实例(shell+awk)
LinuxIP代理筛选系统(shell+proxy)
相关文章推荐
- Shell curl 和 wget 使用代理IP
- Shell 命令 curl 和 wget 使用代理采集网页的总结大全
- Shell 命令 curl 和 wget 使用代理采集网页的总结大全
- Linux Shell中curl和wget使用代理IP的方法教程
- Shell 命令 curl 和 wget 使用代理采集网页的总结大全
- Java中使用多线程、curl及代理IP模拟post提交和get访问
- PHP中使用curl及代理IP模拟post提交【两种实用方法】
- Java中使用多线程、curl及代理IP模拟post提交和get访问
- PHP中使用curl及代理IP模拟post提交【两种实用方法】
- shell: wget、curl(libcurl)使用方法及其区别
- Java中使用多线程、curl及代理IP模拟post提交和get訪问
- Java中使用多线程、curl及代理IP模拟post提交和get访问
- wget和curl使用代理总结
- wget和curl中使用代理
- Java中使用多线程、curl及代理IP模拟post提交和get访问
- CURL使用代理IP
- shell: wget、curl(libcurl)使用方法及其区别
- wget 使用代理ip
- PHP中使用curl及代理IP模拟post提交【两种实用方法】
- linux下使用shell查看apache IP访问量