Surfer 高并发双核无头浏览器 (Golang语言)
2017-03-17 12:12
1886 查看
Surfer
A high level concurrency downloader.
surfer是一款Go语言编写的高并发爬虫下载器,拥有surf与phantom两种下载内核。
支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式,高度模拟浏览器行为,可实现模拟登录等功能。
高并发爬虫Pholcus的专用下载器。(官方QQ群:Go大数据 42731170,欢迎加入我们的讨论)
Features
Bothsurfand
phantomjsengines are supported
Support random User-Agent
Support cache cookie
Support http/https
Usage
package main import ( "github.com/henrylee2cn/surfer" "io/ioutil" "log" ) func main() { // 默认使用surf内核下载 resp, err := surfer.Download(&surfer.DefaultRequest{ Url: "http://github.com/henrylee2cn/surfer", }) if err != nil { log.Fatal(err) } b, err := ioutil.ReadAll(resp.Body) log.Println(string(b), err) // 指定使用phantomjs内核下载 resp, err = surfer.Download(&surfer.DefaultRequest{ Url: "http://github.com/henrylee2cn", DownloaderID: 1, }) if err != nil { log.Fatal(err) } b, err = ioutil.ReadAll(resp.Body) log.Println(string(b), err) resp.Body.Close() surfer.DestroyJsFiles() }
GitHub: https://github.com/henrylee2cn/surfer
相关文章推荐
- golang语言并发与并行——goroutine和channel的详细理解(二)
- golang语言并发与并行——goroutine和channel的详细理解(三)
- golang语言并发与并行——goroutine和channel的详细理解(一)
- golang语言并发与并行—goroutine和channel的详细理解
- Golang语言快速上手到综合实战(Go语言、Beego框架、高并发聊天室、豆瓣电影爬虫) 下载
- golang语言并发与并行——goroutine和channel的详细理解(一)
- golang语言并发与并行——goroutine和channel的详细理解
- golang语言并发与并行——goroutine和channel的详细理解(二)
- 简约语言:golang; CSP式的并发模型
- golang语言并发与并行——goroutine和channel的详细理解
- golang语言并发与并行——goroutine和channel的详细理解(三)
- 【golang】go语言,进行并发请求的wrap变参封装
- golang语言并发与并行——goroutine和channel的详细理解(一)
- golang语言并发与并行——goroutine和channel的详细理解
- 【go语言】Goroutines 并发模式(一)
- Go语言并发编程总结
- PHP网页根据来访者的浏览器语言不同自动跳转中英文页面
- 使用php判断浏览器的类型和语言的函数代码
- 国内有哪些知名公司在使用Golang语言?
- golang-并发编程goroutine