Googlebot이지도 로케이터에 수천 건의 요청을 제출하고 API 할당량 사용

고객 사이트에 매장 검색기 페이지가 있습니다. 최종 사용자는 자신의 우편 번호와 검색 반경을 입력하고 Google지도에 결과를 표시합니다.

최근에 전체 트래픽이 눈에 띄게 증가하지 않으면 서 사이트에서 무료지도 검색 한도 (24 시간당 약 25,000)에 도달 한 것으로 나타났습니다. 문제가 무엇인지 찾기 위해 추가 로깅을 설정했습니다.

Googlebot이이지도에서 수천 건의 검색을 진행하고있는 것으로 나타났습니다. 이것은 작은 샘플입니다.

2017-07-09 23 : 56 : 22,719 [7] INFO ShopLanding-[Thread 41] Google지도 : 검색된 G23이 66.249.66.221에서 확인되었습니다.
2017-07-09 23 : 56 : 35,469 [7] INFO ShopLanding-[Thread 10] Google Maps : 검색된 CA6이 66.249.66.221에서 확인되었습니다.
2017-07-09 23 : 57 : 24,563 [7] INFO ShopLanding-[Thread 48] Google지도 : 검색된 BN14는 66.249.66.223에서 확인을 받았습니다.
2017-07-09 23 : 58 : 00,970 [7] INFO ShopLanding-[Thread 42] Google지도 : 검색된 CB4는 66.249.66.221에서 OK를 받았습니다.
2017-07-09 23 : 58 : 13,064 [7] INFO ShopLanding-[Thread 54] Google지도 : 검색된 DY9는 66.249.66.221에서 OK를 받았습니다.
2017-07-09 23 : 59 : 18,722 [7] INFO ShopLanding-[Thread 59] Google Maps : 66.249.66.223에서 TS3가 검색되었습니다.
2017-07-09 23 : 59 : 53,223 [7] INFO ShopLanding-[Thread 49] Google Maps : 검색된 S45는 66.249.66.221에서 OK를 받았습니다.

Google이 너무 많은 요청을 처리하지 못하게 할 수있는 방법이 있습니까? 이것은 상당한 비율의 무료 수당을 먹고 있습니다. 합법적 인 검색은 하루에 약 200 회 미만인 것으로 보입니다.

편집하다

이 사이트는 C # ASP.NET을 기반으로합니다. 상점 검색에서 POST를 사용하고 있으며 제출시 URL이 변경되지 않습니다. 내일 아침에 IIS 로그 샘플을 게시하여이 동작을 확인할 수 있습니다.

web-crawlers google-maps

— 버기
소스

Googlebot이 검색하는 항목에 의미가 있습니까? "G23"과 "CA6"은 아무 의미가 없습니다. Googlebot은 일반적으로 양식에 임의의 데이터를 제출하지 않습니다. 일반적으로 드롭 다운 옵션, 미리 채워진 데이터 또는 쿼리 링크 만 크롤링합니다. 사이트의 해당 값이 목록에 있습니까? 또한 이러한 요청에 대한 URL은 어떤 모양입니까?

— Stephen Ostermiller

@StephenOstermiller 그들은 부분 영국 우편 번호, 특히 지구 식별자입니다. 이것들은 POSTAJAX에 대한 요청 이어야 하지만 IIS 로그를 확인하겠습니다.

— Burgi

따로 :이 "무료지도 검색"은 무엇입니까?

— MrWhite

@SamWeaver IP는 Google 봇으로 확인되며 해당 IIS 로그 항목에는 Googlebot UserAgent가 있습니다. 두 가지 모두 스푸핑 될 수 있습니다.

— Burgi

상점 검색 기가 조회 문자열 (GET 요청)을 사용합니까? 상점 검색기 페이지의 대략적인 URL 구조는 무엇이며 사용자 검색에 따라 변경됩니까 (쿼리 문자열)? 기능적 / 기술적 측면을 좀 더 자세히 설명 할 수 있다면보다 효과적인 방법으로 답변 할 수 있습니다.

— TopQnA

googlebot이 googlemaps를 통한 검색을 중지하려면 robots.txt도메인 루트에 이름이 지정된 파일을 넣으 십시오. 예 : https://www.wikipedia.org/robots.txt

샘플 robots.txt :

User-agent: Googlebot
Disallow: /search-store/

여기서 / search-store /는 Google지도에 요청을 보내는 페이지입니다.

Googlebot 이외의 것이 발생하면 다음을 사용하여이 페이지에 대한 모든 크롤링을 비활성화 할 수 있습니다.

User-agent: *
Disallow: /search-store/

robots.txt를 무시하는 오작동 스크립트를 중지하지 않습니다.

— 사티 벨
소스

어쨌든 Google 및 다른 검색 엔진이이 페이지를 스파이더 링하는 것을 원하지 않습니다.

— Ari Davidow

전체 검색 저장소를 차단하는 것이 올바른 옵션인지 확실하지 않은 경우 검색어 문자열 등을 이해해야 할 수도 있습니다. 의미는 Google이 읽도록하지만 너무 많은 요청을 보내지는 않습니다. 전체 검색 저장소를 차단하는 것이 마지막 옵션이어야합니다.

— TopQnA

속도 제한 검색은 또 다른 옵션 일 수 있습니다. 25 번의 검색 후에 각 검색 사이에서 1 시간 동안 냉각해야합니다. 봇과 악의적 인 사람들을 막을 수 있지만 일반 사용자는 그렇지 않습니다.

— satibel

페이지가 상점의 위치를 검색하기위한 것이라면 처음에 색인을 생성하는 것이 유용 할 것입니다. 사이트 구조에 따라 다릅니다. 또한 robots.txt는 속도 제한에 몇 시간이 걸리는 것보다 빠른 수정으로 구현하기가 더 쉽고 빠릅니다 (더 저렴합니다). @TopQnA

— 사티 벨

글쎄, 상점 위치는 사용자에게 매우 중요하며 대부분의 사람들은 Google의 위치를 참조하여 상점을 검색하며 상점 위치 지정자가 각 상점마다 고유 한 URL을 가진 유용한 정보로지도를 생성 할 수 있다면 훨씬 더 유용 할 것입니다 사용자. 이것이 바로 차단이 마지막 옵션이어야하는 이유입니다.

— TopQnA