sync.waitGroup(wg)는 표준 전달 방법 이지만 모두 완료 wg.Add하려면 먼저 호출 중 일부를 수행해야합니다 wg.Wait. 이는 웹 크롤러와 같은 간단한 작업에서는 가능하지 않을 수 있습니다. 웹 크롤러는 미리 재귀 호출 수를 모르고 호출을 유도하는 데이터를 검색하는 데 시간이 걸립니다 wg.Add. 결국 첫 번째 하위 페이지 배치의 크기를 알기 전에 첫 번째 페이지를로드하고 구문 분석해야합니다.
waitGroup내 솔루션에서 Tour of Go-웹 크롤러 연습을 피하면서 채널을 사용하여 솔루션을 작성했습니다 . 하나 이상의 go-routine이 시작될 때마다 번호를 children채널로 보냅니다 . 이동 루틴이 완료 되려고 할 1때마다 done채널에 를 보냅니다 . 자녀의 합이 완료의 합과 같으면 완료된 것입니다.
내 유일한 관심사는 results채널 의 하드 코딩 된 크기 이지만 (현재) Go 제한 사항입니다.
// recursionController is a data structure with three channels to control our Crawl recursion.
// Tried to use sync.waitGroup in a previous version, but I was unhappy with the mandatory sleep.
// The idea is to have three channels, counting the outstanding calls (children), completed calls
// (done) and results (results). Once outstanding calls == completed calls we are done (if you are
// sufficiently careful to signal any new children before closing your current one, as you may be the last one).
//
type recursionController struct {
results chan string
children chan int
done chan int
}
// instead of instantiating one instance, as we did above, use a more idiomatic Go solution
func NewRecursionController() recursionController {
// we buffer results to 1000, so we cannot crawl more pages than that.
return recursionController{make(chan string, 1000), make(chan int), make(chan int)}
}
// recursionController.Add: convenience function to add children to controller (similar to waitGroup)
func (rc recursionController) Add(children int) {
rc.children <- children
}
// recursionController.Done: convenience function to remove a child from controller (similar to waitGroup)
func (rc recursionController) Done() {
rc.done <- 1
}
// recursionController.Wait will wait until all children are done
func (rc recursionController) Wait() {
fmt.Println("Controller waiting...")
var children, done int
for {
select {
case childrenDelta := <-rc.children:
children += childrenDelta
// fmt.Printf("children found %v total %v\n", childrenDelta, children)
case <-rc.done:
done += 1
// fmt.Println("done found", done)
default:
if done > 0 && children == done {
fmt.Printf("Controller exiting, done = %v, children = %v\n", done, children)
close(rc.results)
return
}
}
}
}
솔루션의 전체 소스 코드