사이트가 프록시 또는 회사 네트워크 뒤의 봇을 탐지하는 방법

대규모 사이트 (예 : Wikipedia)는 다른 IP 마스 커 뒤에있는 봇을 어떻게 처리합니까? 예를 들어, 우리 대학에서는 모든 사람이 Wikipedia를 검색하여 상당한 부담을줍니다. 그러나 내가 아는 한 Wikipedia는 대학 라우터의 IP 만 알 수 있으므로 "요청 사이에 약간의 지연이 발생하는"해방 된 봇을 설정하면 Wikipedia가 전체 조직을 금지하지 않고 봇을 차단할 수 있습니까? 사이트가 실제로 조직 네트워크 뒤의 IP를 차단할 수 있습니까?

아니요, 공개 IP를 차단할 것이며 해당 IP에 대해 NAT를 사용하는 모든 사람도 금지됩니다.

비록 우리가 대학이나 그와 비슷한 것을 금지 할 것이라고 생각한다면 적어도 스택에 있지만, 우리는 그들이 학대자 연락을 취해 가해자를 추적하고 문제를 막을 수 있습니다.

사이트는 NAT 뒤에있는 IP를 직접 금지 할 수 없습니다. 익명이 아닌 HTTP 프록시를 통해 전달 된 IP에 대해 작동 할 수 있습니다. 이러한 프록시가 요청을 전달할 때 일반적으로 해당 주소를 X-Forwarded-For 헤더에 추가하므로 개인 네트워크에서 실제로 액세스해야하는 경우 내부 IP가 노출 될 수있는 프록시; 그러나 대부분의 사이트 (wikipedia 포함)는 무고한 IP를 암시하거나 금지를 회피하기가 쉽기 때문에 어쨌든 해당 헤더의 정보를 신뢰하지 않습니다.

그러나 IP 주소와 독립적으로 사용자를 고유하게 식별하려는 다른 기술이 있습니다. 사용자 에이전트, 화면 해상도, 플러그인 목록 등과 같이 웹 브라우저 및 웹 브라우저에서 실행중인 시스템에 대한 많은 정보를 웹 브라우저에 조사 할 수 있습니다. https://github.com/carlo/jquery- 브라우저 지문실제로 이것의 예를 위해. 이러한 지문을 사용하여 액세스를 제어 할 수 있지만 사이트 디자인에 따라 지문 인식 프로세스에 관여하지 않고도 상호 작용할 수 있으며 봇이 불가능한 경우에도 봇이 가짜 및 무작위 데이터를 제공하여 이런 종류의 보호 기능이 있다는 것을 알고 있다면 일관된 지문. 이 제어 방법은 특히 동일한 재고 하드웨어에서 동일한 재고 클라이언트를 실행하는 많은 수의 클라이언트가있는 모바일 장치 (특히 iOS 버전의 특정 모델을 실행하는 iPhone의 특정 모델에있는 사람)가있을 경우 오탐의 위험을 초래합니다. 예를 들어 아마도 같은 지문을 얻을 수 있습니다).

일반적으로 IP 주소는 올바른 금지를위한 정보가 충분하지 않습니다. 따라서 고급 네트워크는 네트워크 스택에서 높은 수준으로 작동합니다.

생성이 걱정되는 DoS (서비스 거부) 공격은 일반적으로 초기 TCP 연결 설정을 제한하는 속도로 처리됩니다. 이는 기다릴 의향이있는 합법적 인 사용자가 통과하는 반면 서버 리소스를 소비하려고하는 사용자는 해를 끼치 지 않을 정도로 느려집니다. 여기서 DoS는 DDoS (Distributed DoS) 공격으로 발전했습니다.

서버에 연결되면 원하는만큼 요청을 작성할 수 있으며 웹 서버 관리는 처리 할 요청 수를 구성 할 수 있습니다.

어쨌든 웹 서버는 로컬 네트워크 게이트웨이보다 더 많은 용량을 처리 할 수 ​​있으며 이는 아마도 사용 사례의 제한 요소 일 것입니다. Wikipedia보다 대학 네트워크 관리자가 문을 두드리게 될 것입니다.

봇에 속도 제한 코드를 추가 할 수 있도록 훌륭한 인터넷 시민이어야합니다.

또한 Wikipedia는 데이터 덤프를 제공하므로 사이트를 트롤링 할 필요가 없습니다.