robots.txt를 확인하기 위해 Google을 호출 할 수 있습니까?

이 질문에 대한 답변을 읽었지만 여전히 내 질문을 열어 둡니다. Google은 robots.txt를 캐시합니까?

Google 웹 마스터 도구에서 robots.txt를 다시 다운로드하는 방법을 찾지 못했습니다 .

일부 오류로 인해 robots.txt 가 다음으로 대체되었습니다.

User-agent: *
Disallow: /

이제 모든 콘텐츠가 Google 검색 결과에서 삭제되었습니다.

분명히, 나는 이것을 가능한 빨리 수정하는 데 관심이 있습니다. robots.txt를 이미 교체 했지만 Google에서 캐시 된 버전을 업데이트하는 방법을 찾을 수 없습니다.

원하는 경우 robots.txt를 다시 다운로드 할 수 없습니다. Google은 사이트에 적합하다고 생각 될 때마다 다시 크롤링하고 새 데이터를 사용합니다. 그들은 정기적으로 크롤링하는 경향이 있으므로 업데이트 된 파일을 찾고 페이지를 다시 크롤링하고 다시 색인화하는 데 시간이 오래 걸리지 않을 것입니다. 페이지를 다시 크롤링하기 전에 새 robots.txt 파일을 찾은 후 시간이 더 걸리고 Google 검색 결과에 다시 표시되는 데 시간이 더 걸릴 수 있습니다.

www.satyabrata.com6 월 16 일에 새 웹 사이트 를 시작할 때도 같은 문제에 직면했습니다 .

나는 있었다 Disallow: /내에서 robots.txt를 정확히 올리버처럼. Google 웹 마스터 도구에 차단 된 URL에 대한 경고 메시지도 있습니다.

이 문제는 어제 6 월 18 일에 해결되었습니다. 다음을 수행했습니다. 어느 단계가 효과가 있었는지 잘 모르겠습니다.

1. 건강-> Fetch as Google : robots.txt 및 홈페이지 그런 다음 색인을 제출하십시오.
2. 설정-> 선호 도메인 : 표시 URL을 www.satyabrata.com
3. 최적화-> 사이트 맵 : XML 사이트 맵이 추가되었습니다.

차단 된 URL에 대한 경고 메시지가 사라지고 새로운 robots.txt 가 Google 웹 마스터 도구에 다운로드 된 것으로 표시됩니다.

현재 Google에는 홈페이지와 robots.txt 두 페이지 만 색인되어 있습니다 . 웹 사이트에 10 페이지가 있습니다. 나머지는 곧 색인화되기를 바랍니다.

이미지가 별도의 CNAME 서버로 이동되어 이미지 폴더에 허용되지 않는 문제가있었습니다. 내가 분명히하는 방법은 웹 마스터 도구에서 robots.txt를 검색하여 웹 페이지를 Google 도구로 읽는 것입니다. robots.txt를 검색하여 읽었다 고 말하면 제출했습니다. 이로 인해 Google은 robots.txt 파일을 읽었지만 이미지 폴더를 허용하도록 변경 한 규칙과 일치하도록 스파이더 링을 변경하지 않았다고보고 한 이미지를 스캔하는 데 3 개월이 걸렸습니다. 일주일 이내에 이미지가 다시 색인되었습니다.

시도해 볼 가치가 있습니다. Google은 때때로 멈춰 파일을 다시 읽지 못하는 것으로 알려져 있습니다.

https://support.google.com/adsense/answer/10532?hl=ko 사이트를 크롤링하는 데이 링크가 도움이되기를 바랍니다 .

robots.txt 파일 /에서 제거하십시오 .

필자의 경우 문제는 afraid.org라는 무료 DNS 서비스를 사용하고 있다는 것이 었습니다.

(무료 도메인은으로 끝났습니다 .us.to)

TLD로 전환하면 작동하기 시작했습니다.