우리는 과거에 야후의 (놀랍게도) 잘못 작성된 거미 와 관련하여 심각한 문제를 겪었고 , 그 결과 차단했습니다. Tumblr의 Marco Arment는 2009 년 8 월 31 일에 우리와 좌절감을 나누었습니다.
[Yahoo 's Spider]는 EST 약 5:30 이후 초당 70-200 건의 요청으로 우리를 범람 시켰습니다. 나는 과거에 우리를 학대했던 그들의 "실험적인"크롤러들조차도 이와 같은 것을 본 적이 없다. Robots.txt 금지만으로는 충분하지 않습니다.로드 밸런서 수준에서 IP로 차단해야합니다. 과거에 스택 오버플로를 악용 했으므로 알고 싶을 것 같습니다.
Yahoo의 웹 검색이 "Powered by Bing!"인 것 같습니다. 지금. 우리는 Bing의 스파이더 (일명 MSNBOT)에 문제가 없었기 때문에 좋습니다.
야후의 검색은 현재 Bing 검색과 동일합니까? 아니면 모든 가능성에 반하여 너무 열심히 빨지 않으면 잠재적으로 차단을 해제해야합니까?