7
웹 사이트를 크롤링 할 때 좋은 시민이되는 방법?
다양한 공용 웹 사이트를 크롤링하고 해당 사이트의 데이터를 처리 / 집계하는 기능을 개발하려고합니다. 전자 메일 주소를 찾는 것과 같은 불길한 것은 없습니다. 실제로 사이트에 실제로 추가 트래픽을 발생시킬 수 있습니다. 그러나 나는 산만하다. 명예 외에 robots.txt, (a) 악성으로 보이고 잠재적으로 금지되는 것을 피하고 (b) 사이트 소유자 / 웹 마스터에게 아무런 …