내 사이트에서 봇을 차단해야하는 이유는 무엇입니까?

내 통나무는 종종 동유럽과 중국 출신의 봇 방문객으로 가득합니다. 봇은 Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou 등으로 식별됩니다. 내 사이트에서이 봇을 차단해야합니까? 그 이유는 무엇입니까?

내 사이트로 유입되는 트래픽을 늘리는 데 합법적 인 목적은 무엇입니까? 그들 중 많은 사람들이 SEO입니다.

나는 내가보고 말을 적은 봇 이후 아무것도 큰 숫자에 도착 한 경우 트래픽을.

이들은 모두 자신의 사용자 에이전트에서 봇임을 인정하기 때문에 차단하기가 어렵지 않습니다.

봇을 차단할 수 있지만 웹 사이트에 원하는 것에 따라 다릅니다.

특정 검색 엔진에서 웹 사이트의 색인이 생성되는 것을 원하지 않으면 검색 엔진 봇을 차단할 수 있습니다.
예 : Yandex 는 러시아어 검색 엔진입니다. 비즈니스가 러시아를 타겟팅하지 않는 경우 봇을 차단할 수 있습니다.

웹 분석 솔루션을 사용하지 않으려면 SEO 봇을 차단할 수 있습니다.
예 : Ahrefs 는 웹 분석 솔루션입니다. 이 웹 분석 솔루션을 사용하지 않으면 봇을 차단할 수 있습니다.

봇을 차단하는 이유 :

• 더 적은 로봇이 웹 사이트를 방문하고 더 많은 대역폭이 실제 방문자에 기인합니다
• 멀웨어 봇으로부터 안전
• 로그 크기

봇을 차단하지 않는 이유 :

• 검색 엔진 봇과 같은 봇은 웹 사이트를 색인화하여 트래픽을 증가시킬 수 있습니다.

robotstxt.org의 FAQ를 읽고 봇에 대해 자세히 알아볼 수 있습니다 .

차단할 여러 로봇을 결정하려는 경우이 웹 사이트 robots.txt 에서 영감을 얻을 수 있습니다 .

일부 봇은 robots.txt 를 무시할 수 있습니다 ( 자세한 내용은 여기 참조) .

결론 : 인터넷 로봇 기능을 검색하여 차단이 유용한 지 판단 할 수 있습니다.

봇을 차단하려고하면 리소스를 확보하고 로그를 정리할 수 있지만 robots.txt 와 심지어 noindex 페이지에서 메타 태그를 사용하더라도 실제로 사이트를 방문하는 봇은 중단되지 않습니다. 로봇이 거부 된 사이트가 제거되었는지 확인하기 위해 사이트를 계속 크롤링 할 수 있습니다. 많은 봇은 사용자 에이전트를 사용하지 않으며 표준 사용자 에이전트를 사용합니다. 내가 말하는 봇은 일반적으로 검색 엔진에서 찾을 수있는 일반적인 것이 아니라 백 링크를 검색하는 SEO 수확 봇입니다.

봇을 차단하는 대신 방문자 수를 계산할 때 이러한 봇을 고려하여 사이트를 적극적으로 모니터링 한 후 봇인 대략적인 수치를 설정해야합니다. 대부분의 사람들은 고유 한 방문에 관심을 갖고 있으며 끊임없이 돌아 오는 봇을 배제합니다. 요즘 시대에는 색인을 원하지 않는 페이지 이외의 다른 서버, 이러한 봇을 처리 할 수있는 공유 호스팅이 많으므로 이러한 유형의 봇을 차단할 이유가 없습니다. 물론 유해한 봇도 있지만 사용자 에이전트는 사용하지 않을 것입니다.).

개인적으로 로봇을 차단하는 것은 많은 리소스를 전혀 사용하지 않기 때문에 시간 낭비라고 믿습니다. SEO 로봇은 PR0 페이지에 귀하의 사이트를 게시 할 때 도움이 될 수 있습니다. 그들에 의해.

로그 문제

특정 요청을 필터링 할 수있는 적절한 로그 뷰어를 사용해야하므로 로그를보다 쉽게 ​​검토 할 수 있습니다. 좋은 시청자는 일반 방문, 404 등 많은 것을 필터링 할 수 있습니다.