답변:
Google 웹 마스터 도구에서 Google이 사이트를 크롤링하는 속도 를 제어 할 수 있습니다 .
사이트의 크롤링 속도는 Googlebot이 방문 할 때마다 사이트를 크롤링하는 데 사용되는 시간을 결정합니다. Google의 목표는 서버의 대역폭에 눈에 띄는 영향을주지 않으면 서 사이트를 완전히 크롤링하여 페이지를 색인 생성하고 검색 결과로 반환 할 수 있도록하는 것입니다. 대부분의 웹 마스터는 기본 크롤링 설정을 사용하는 것이 좋지만 (즉, 아래에 더 많은 변경이 필요하지 않음) 일부 웹 마스터는보다 구체적인 요구가있을 수 있습니다.
Googlebot은 방문하는 각 사이트를 크롤링하는 양을 결정하는 정교한 알고리즘을 사용합니다. 대부분의 사이트에서 "Google이 내 크롤링 속도를 결정하도록 허용"옵션을 선택하는 것이 가장 좋습니다 (기본값). 그러나 고급 사용자이거나 서버에 대역폭 문제가있는 경우 웹 서버에 가장 적합한 속도로 크롤링 속도를 사용자 지정할 수 있습니다. 맞춤 크롤링 속도 옵션을 사용하면 환경에 가장 적합한 초당 요청 수 및 요청 간 시간 (초)에 대한 Googlebot 정보를 제공 할 수 있습니다.
Googlebot은 웹 마스터 도구에서 사용할 수있는 크롤링 속도 값의 범위를 결정합니다. 이는 서버 기능에 대한 이해를 바탕으로합니다. 이 범위는 여러 요인에 따라 사이트마다 다를 수 있습니다. 크롤링 속도를 기본값보다 낮은 값으로 설정하면 Google 검색 결과에서 사이트의 적용 범위 및 최신 상태에 영향을 줄 수 있습니다. 그러나 기본값보다 높은 값으로 설정해도 적용 범위 나 순위는 향상되지 않습니다. 맞춤 크롤링 속도를 설정하면 90 일 동안 새 요율이 적용되어 Google의 권장 값으로 재설정됩니다.
이 설정은 루트 수준 사이트 및 blogspot.com과 같은 대규모 도메인에서 호스팅되지 않은 사이트에만 사용할 수 있습니다 (특별 설정이 할당되어 있음). 크롤링 속도 설정을 확인하려면 웹 마스터 도구에 로그인하고 설정 탭을 방문하십시오. 추가 질문이있는 경우 웹 마스터 도움말 센터를 방문하여 Google이 사이트를 크롤링하거나 웹 마스터 도움말 포럼에 질문을 게시하는 방법에 대해 자세히 알아보십시오.
다른 경우에는 사용자 에이전트를 스니핑하고 사용자 에이전트를 기반으로 검색 엔진 봇을 허용하거나 거부하는 자체 필터링 시스템을 만들어야 할 것입니다. 그러나 이는 주파수 감소에만 영향을 미칩니다.
질문의 두 번째 부분에 답하기 위해 웹 마스터 도구를 사용하여 Google에 알릴 수 있습니다.
크롤링 속도를 변경하려면
웹 마스터 도구 홈페이지에서 원하는 사이트를 클릭하십시오.
사이트 구성에서 설정을 클릭하십시오.
크롤링 속도 섹션에서 원하는 옵션을 선택하십시오.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=ko_GB
온 빙 FAQ 그것이 지칭 포스트 설정 권장 Crawl-Delay: Xx는 각각의 요청 사이의 대기 시간 (초) 수이다.
물론 사이트 맵은 페이지 변경 빈도를 나타냅니다.