Google에서 새 robots.txt 파일을 읽도록 권장하려면 어떻게해야하나요?


22

방금 새 사이트에서 robots.txt 파일을 업데이트했습니다. Google 웹 마스터 도구에서 마지막 업데이트 10 분 전에 내 robots.txt를 읽었습니다.

Google이 가능한 빨리 robots.txt를 다시 읽도록 권장 할 수있는 방법이 있습니까?

업데이트 : 사이트 구성 | 크롤러 액세스 | robots.txt 테스트 :

홈페이지 액세스 표시 :

Googlebot이 http://my.example.com/ 에서 차단되었습니다 .

참고 : Google에서 마지막으로 읽은 robots.txt는 다음과 같습니다.

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

내가 발로 직접 쏜 적이 있습니까, 아니면 마지막으로 읽었습니까?

내가해야 할 일에 대한 아이디어가 있습니까?


참고 : 사이트가 새롭고 설정 | 크롤링 속도 : "사이트에 특수 크롤링 속도 설정이 지정되었습니다. 크롤링 속도를 변경할 수 없습니다."에이 메시지가 나타납니다.
qxotk

참고 : Google 그룹에서 Google에서 robots.txt를 "최소한 하루에 한 번"읽을 것이라고 언급 한 게시물을 찾았습니다. 누구나 확인할 수 있습니까? [google 그룹 게시 위치 : groups.google.com/group/google_webmaster_help-indexing/… ]
qxotk

참고 : 1 일이 지났고 Google에서 아직 업데이트 된 robots.txt를 읽지 않았습니다.
qxotk

여기에서 같은 문제, 이것은 "기능"이 아닙니다 ...
mate64

답변:


25

다른 사람 이이 문제를 겪을 경우 google-bot이 robots.txt 파일을 다시 다운로드하도록 할 수 있습니다.

건강-> Fetch as Google [1]로 이동하여 /robots.txt를 가져옵니다.

파일이 다시 다운로드되고 Google도 파일을 다시 구문 분석합니다.

[1] 이전 Google UI에서는 '진단-> Fetch as GoogleBot'입니다.


11
robots.txt가로 설정되어 있으면 불행하게도 작동하지 않습니다 Disallow: /. 대신 가져 오기는 "Denied by robots.txt": /를보고합니다.
studgeek

3
다음에이 줄을 추가하십시오. 허용 : /robots.txt
jrosell

'진단'을 찾을 수 없습니다. UI가 변경되었을 수 있습니까?
David Riccitelli

2
이제 건강> Fetch as Google입니다.
David Riccitelli

robots.txt를 가져 오려고 할 때 작동하지 않습니다. 오류 : "Googlebot이 다운로드 한 최신 robots.txt 파일에 의해 페이지가 차단되어 현재 페이지를 크롤링 할 수 없습니다. 최근 robots.txt 파일을 업데이트 한 경우 새로 고침까지 최대 2 일이 소요될 수 있습니다. robots.txt에 대한 자세한 내용은 도움말 센터를 참조하십시오. "
Indrek

4

나는 이것이 매우 오래되었다는 것을 알고 있지만 ... 잘못된 robots.txt를 업로드하면 (모든 페이지를 허용하지 않음) 다음을 시도 할 수 있습니다.

  • 먼저 robots.txt를 수정하여 올바른 페이지를 허용 한 다음
  • 페이지와 함께 sitemap.xml을 업로드하십시오.

Google이 XML 사이트 맵을 읽으려고하면 robots.txt를 다시 확인하여 Google이 robots.txt를 다시 읽도록합니다.


이것은 나를 위해 작동하지 않았습니다. 사이트 맵이 robots.txt에 의해 차단되었다고합니다.
James

1

승인. 여기 내가 한 일이 있으며 몇 시간 안에 Google이 내 robots.txt 파일을 다시 읽습니다.

우리는 우리가 운영하는 1 개의 사이트마다 2 개의 사이트를 가지고 있습니다. 이를 표준 사이트 (www.mysite.com) 및 기본 도메인 사이트 (mysite.com)라고하겠습니다.

mysite.com이 항상 www.mysite.com으로 리디렉션되는 301을 반환하도록 사이트를 설정했습니다.

Google 웹 마스터 도구에서 두 사이트를 모두 설정 한 후 www.mysite.com이 정식 사이트라고 말하면 정식 사이트에서 robots.txt 파일을 읽은 직후에

왜 그런지 모르겠지만 그 일이 일어났습니다.


3
나는 이것이 오래되었다는 것을 알고 있지만 자신의 대답을 받아들이는 것은 100 % 합법적입니다
Mark Henderson

0

며칠 동안 Google 검색 간격을 줄입니다.

또한 robots.txt를 확인하기위한 buttom을 보았습니다.


더 자세하게 얘기해 주 시겠어요? 사이트 구성 | 크롤러 액세스 | robots.txt를 테스트하지만 라이브 robots.txt 파일이 아닌 상자에 붙여 넣은 텍스트를 테스트합니다. 또한 마지막으로 다운로드 한 시점을 알려줍니다. "확인"버튼은 어디에 있습니까?
qxotk
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.