«web-crawler» 태그된 질문

McAfee SiteAdvisor가 내 웹 사이트를 "보안 문제가있을 수 있음" 으로보고 한 것으로 나타났습니다 . 나는 McAfee가 내 웹 사이트에 대해 생각하는 것에 대해 거의 신경 쓰지 않습니다. 직접 보호 할 수 있으며 그렇지 않은 경우 McAfee는 도움을 요청하는 회사가 아닙니다. 대단히 감사합니다. 그러나 나를 귀찮게하는 것은 그들이 내 허락없이 내 …

30 web-crawler 

대규모 사이트 (예 : Wikipedia)는 다른 IP 마스 커 뒤에있는 봇을 어떻게 처리합니까? 예를 들어, 우리 대학에서는 모든 사람이 Wikipedia를 검색하여 상당한 부담을줍니다. 그러나 내가 아는 한 Wikipedia는 대학 라우터의 IP 만 알 수 있으므로 "요청 사이에 약간의 지연이 발생하는"해방 된 봇을 설정하면 Wikipedia가 전체 조직을 금지하지 않고 봇을 차단할 …

12 web-crawler 

공격적인 방식으로 내 사이트를 계속 긁는 특정 개인에게 문제가 있습니다. 대역폭 및 CPU 리소스 낭비 웹 서버 액세스 로그를 확장하고 데이터베이스에 새 IP를 각각 추가하고 해당 IP의 요청 수를 추적 한 다음 동일한 IP가 특정 요청 임계 값을 초과하는 시스템을 이미 구현했습니다. 특정 기간 동안 iptables를 통해 차단됩니다. 정교하게 들릴지 …

10 ip  isp  whois  web-crawler  ip-blocking 

얼마 전에 Apache를 설치했으며 access.log를 살펴보면 알 수없는 모든 종류의 IP가 대부분 상태 코드 403, 404, 400, 408로 연결되어 있음을 알 수 있습니다. 내 IP는 개인적인 용도로만 사용하기 때문에 검색 엔진을 멀리두기를 바라면서 robots.txt를 추가했습니다. 인덱스를 차단하고 실제로 중요한 것은 없습니다. 이 봇 (또는 사람들)은 서버를 어떻게 찾습니까? 이런 일이 …

8 apache-2.2  web-crawler