7 Google은 robots.txt를 캐시합니까? 일주일 전에 내 사이트 중 하나에 robots.txt 파일을 추가했는데 Googlebot이 특정 URL을 가져 오지 못했을 것입니다. 그러나 이번 주말에 Googlebot이 정확한 URL을로드하는 것을 볼 수 있습니다. Google은 robots.txt를 캐시합니까? 그렇다면 캐시 해야합니까? 17 googlebot robots.txt google-cache