golang采集,适合golang初学者入门,笔者亦是新手
2016-09-01 19:30
561 查看
将易果生鲜网站作为了本次练习的入口,代码拷贝请勿对目标站进行攻击后果自负
package main
import (
"fmt"
"io/ioutil"
"net/http"
"regexp"
)
type MySpider struct {
indexUrl string
}
func (this MySpider) readUrlBody() (string, error) {
resp, err := http.Get(this.indexUrl)
if err != nil {
return "err", err
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
return "err", err
}
return string(body), err
}
func (this MySpider) catchCategoryUrl() []string {
body, _ := this.readUrlBody()
rcg := regexp.MustCompile(`class="catalogs-ad">(?sU:.*)<a href="(http://www.yiguo.com/products/.*?_channelhome.html)"`)
urls := rcg.FindAllStringSubmatch(body, -1)
cateUrl := make([]string, len(urls))
for i, u := range urls {
cateUrl[i] = u[1]
}
return cateUrl
}
func (this MySpider) catchProductInfo() string {
body, _ := this.readUrlBody()
rcg := regexp.MustCompile(`<div class="p_info clearfix">(?sU:.*)<div class="p_name"><a href="http://www.yiguo.com/product/(?U:.*).html" target="_blank">(.*?)</a></div>(?sU:.*)<div class="p_price">(?sU:.*)<strong>(.*?)</strong>(?sU:.*)</div>(?sU:.*)</div>`)
result := rcg.FindAllStringSubmatch(body, -1)
for i := range result {
line := result[i]
fmt.Println(line[1], "<<======>>", line[2])
}
return ""
}
func (this MySpider) run() string {
cateUrls := this.catchCategoryUrl()
for _, u := range cateUrls {
this.indexUrl = u
this.catchProductInfo()
break
}
return ""
}
func main() {
ms := new(MySpider)
ms.indexUrl = "http://www.yiguo.com"
ms.run()
}
相关文章推荐
- Linux 入门——适合初学者本文转载于的博客原文
- 初学者的福音:游戏开发新手入门指南
- 个人的web开发心得(一)----------非常适合入门新手,都是常识
- 传智博客2015年最新版iOS基础视频_最适合初学者入门
- php简单实现通讯录采集,我的第一个php,适合新手
- Andriod开发环境搭建—适合新手入门
- C with STL入门详解(适合初学者)
- 【适合新手入门】批处理简单的输入判断
- 强烈推荐visual c++ 2012入门经典适合初学者入门
- 白话讲反射技术 --- 适合初学者入门引导
- 白话讲反射技术 --- 适合初学者入门引导
- 个人的web开发心得(三)----------非常适合入门新手,都是常识
- javascript 教程--适合初学者入门
- 强烈推荐visual c++ 2012入门经典适合初学者入门
- 初学者的福音:游戏开发新手入门指南(转载)
- 分享一篇文章,关于Android Build系统的详解,很适合新手的入门
- 400行代码实现双人对战五子棋(适合新手入门)
- 机器学习超全的学习资料,适合新手入门
- 【Android入门日记】一、适合新手看的android环境配置(windows下)
- 个人的web开发心得(SQL)----非常适合入门新手,都是常识