go_spider 简单爬虫实现

1.前情提要

作为一个根正苗红的php程序员（筑基前期的程序员），很容易不知道自己想做什么。庞大的系统搞不定，增删改查没意思。。。在这个背景下，为了学习到php没有的特性（高性能，并发）接受到了公司老员工的火爆安利，对golang的兴趣很大。

2.代码实现

以下是完整代码     

package mainimport (    "fmt"    "log"    "strings"    "github.com/PuerkitoBio/goquery"    _ "github.com/go-sql-driver/mysql"  //载入数据库驱动    "github.com/go-xorm/xorm"    "github.com/hu17889/go_spider/core/common/page"    "github.com/hu17889/go_spider/core/common/request"    "github.com/hu17889/go_spider/core/spider")const (    rooturl = "http://www.77kp.com"  // 爬取网站的根目录)type Db77kp struct {    Id    int64    Name  string    Xlurl string}var mysqluser string = "test"var mysqlpass string = "123456"var mysqlhost string = "127.0.0.1:3306"var mysqlname string = "77kp"//爬取77kp网站，获取迅雷下载地址//- url 入口// http://www.77kp.com///- 爬取 ```ul.txt-list a href ``` 获得详情页跳转地址//- 爬取 ``` ul.downurl a href a text``` 获取该影片迅雷下载地址，并储存数据库//- 爬取 ```ul.txt-list a href ```继续加入下载队列type MyPageProcesser struct {}func NewMyPageProcesser() *MyPageProcesser {    return &MyPageProcesser{}}//网页解析器func (this *MyPageProcesser) Process(p *page.Page) {    if !p.IsSucc() {        println(p.Errormsg())        return    }    // 连接数据库    conn := mysqluser + ":" + mysqlpass + "@tcp(" + mysqlhost + ")/" + mysqlname + "?charset=utf8"    engine, mysqlErr := xorm.NewEngine("mysql", conn)    if mysqlErr != nil {        log.Print("数据库连接失败！")        log.Print(mysqlErr)    }    query := p.GetHtmlParser()        // 获取页面上相同类型的url，准备加入待爬取页面列表    href, _ := query.Find(".txt-list.txt-list-small a").Attr("href")    href = strings.Trim(href, "\t\n")        // 爬取当前页面是哪部电视剧的名称    name := query.Find(".detail-title h2").Text()    name = strings.Trim(name, " \t\n")    //  var durlMap map[int]string        // 循环爬取页面中迅雷下载地址和剧集名称，并存入数据库中    query.Find(".downurl .dwon_xl a").Each(func(i int, s *goquery.Selection) {        dramaName, _ := s.Attr("title")        downurl, _ := s.Attr("href")        _, errins := engine.Query("INSERT INTO `77kp` (`name`, `xlurl`) VALUES ('" + dramaName + "', '" + downurl + "')")        if errins != nil {            log.Print("插入数据库失败！")            log.Print(errins.Error())        }        fmt.Println("剧集名称:" + dramaName)        fmt.Println("剧集下载地址:" + downurl)        fmt.Println("插入数据库成功！")    })        // 将待爬取的链接加入爬取列表中    addRequest(p, "77kp", rooturl+href, "", "")    fmt.Printf("页面名称：%v \n 页面路由：%v \n", name, href)    //  p.AddField("summary", summary)    //  p.AddField("href", href)}// 爬取完成方法func (this *MyPageProcesser) Finish() {    fmt.Printf("爬取完成！ \r\n")}// 添加待爬取url方法func addRequest(p *page.Page, tag, url, cookie, content string) {    req := request.NewRequest(url, "html", tag, "GET", "", nil, nil, nil, nil)    p.AddTargetRequestWithParams(req)}func main() {    sp := spider.NewSpider(NewMyPageProcesser(), "77kp")        // 入口地址    req := request.NewRequest("http://www.77kp.com/vod-detail-id-5269.html", "html", "", "GET", "", nil, nil, nil, nil)    pageItems := sp.GetByRequest(req)    url := pageItems.GetRequest().GetUrl()    println("url\t:\t" + url)    //  for name, value := range pageItems.GetAll() {    //      println(name + "\t:\t" + value)    //  }}