7 바이두 거미를 차단하는 방법 내 방문의 대부분은 바이두 거미에서 왔습니다. 검색 엔진에 전혀 도움이되지 않는다고 생각하므로 차단하는 방법을 생각하고 있습니다. iptables를 통해이 작업을 수행 할 수 있습니까? 웹 서버로 nginx를 사용하고 있습니다. 15 traffic nginx web-crawlers baidu
1 baidu가 왜 내 사이트를 미친 것처럼 크롤링합니까? 아파치 로그를 확인할 때 baidu가 지난 2 주 동안 하루에 10 번 웹 사이트를 크롤링하고 있음을 알 수 있습니다. 나는 그것에 대해 많은 관심을 가지고 있지는 않지만 그가 왜 이것을하고 있는지에 대해 정말로 궁금합니다. 들어오는 링크가 많지 않은 작은 단일 페이지 웹 사이트입니다. 그 뒤에 어떤 이유가 있습니까? 220.181.108.169 [10/Mar/2012:10:41:29 … 12 seo web-crawlers baidu