练习：网络爬虫 - 并发不起作用

我正在经历 golang 之旅，并致力于最后的练习，以将网络爬虫更改为并行爬行而不是重复爬行（http://tour.golang.org/#73 http://tour.golang.org/#73）。我所改变的只是抓取功能。

    var used = make(map[string]bool)

    func Crawl(url string, depth int, fetcher Fetcher) {
        if depth <= 0 {
            return
        }
        body, urls, err := fetcher.Fetch(url)
        if err != nil {
            fmt.Println(err)
            return
        }
        fmt.Printf("\nfound: %s %q\n\n", url, body)
        for _,u := range urls {
            if used[u] == false {
                used[u] = true
                Crawl(u, depth-1, fetcher)
            }
        }
        return
    }

为了使其并发，我在调用函数 Crawl 之前添加了 go 命令，但程序不是递归调用 Crawl 函数，而是只找到“http://golang.org/ http://golang.org/“页面，没有其他页面。

为什么当我在函数Crawl的调用中添加go命令时，程序无法运行？

问题似乎是，您的进程在所有 URL 都可以被跟踪之前就退出了 通过爬虫。由于并发的原因，main()程序在之前退出 工人们已经完成了。

为了规避这个问题，你可以使用sync.WaitGroup http://golang.org/pkg/sync/#WaitGroup:

func Crawl(url string, depth int, fetcher Fetcher, wg *sync.WaitGroup) {
    defer wg.Done()
    if depth <= 0 {
         return
    }
    body, urls, err := fetcher.Fetch(url)
    if err != nil {
        fmt.Println(err)
        return
    }
    fmt.Printf("\nfound: %s %q\n\n", url, body)
    for _,u := range urls {
        if used[u] == false {
           used[u] = true
           wg.Add(1)
           go Crawl(u, depth-1, fetcher, wg)
        }
    }
    return
}

并打电话Crawl in main如下：

func main() {
    wg := &sync.WaitGroup{}

    Crawl("http://golang.org/", 4, fetcher, wg)

    wg.Wait()
}

Also, 不要依赖线程安全的地图 http://golang.org/doc/go_faq.html#atomic_maps.