Google은 CDN 파일을 크롤링하지 않습니다

Google 웹 마스터 도구가 내 웹 사이트에서 차단 된 많은 리소스를보고하는 것으로 나타났습니다. 현재 모든 "차단 된 리소스"는 Cloudfront CDN에서 제공하는 .css, .js 및 이미지 (.jpg, .png)입니다.

Google에서이 파일을 크롤링하지 않는 이유를 파악하고 "리소스 차단"상태를보고하는 데 많은 시간을 보냈습니다.

현재 나는 cdn1.example.com, cdn2.example.com과 같은 여러 호스트 이름에서이 파일들을 제공합니다.…

cdn1, cdn2 및 기타는 CNAME의 클라우드 프론트 배포 이름입니다.

테스트 : 클라우드 프론트 배포 (CNAME 없음)를 직접 사용하려고했지만 문제가 지속됩니다.

현재 내 robots.txt는 다음과 같습니다.

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

#Google images
User-agent: Googlebot-Image
Disallow: /

User-agent: *
Disallow: /homepage
Disallow: /index.php*
Disallow: /uncategorized*
Disallow: /tag/*
Disallow: *feed
Disallow: */page/*
Disallow: *author*
Disallow: *archive*
Disallow: */category*
Disallow: *tag=*
Disallow: /test*
Allow: /

그리고 하나의 예제 페이지에서 차단 된 파일의 예 :

• cdn1.example.com/wp-content/plugins/wp-forecast/wp-forecast-default.css

• cdn9.example.com/wp-content/plugins/bwp-minify/min/?f=wp-content/themes/magazine/css/font-awesome.min.css,wp-content/themes/magazine/css/responsive .css

• cdn5.example.com/wp-content/themes/magazine/images/nobg.png

• cdn6.example.com/wp-content/plugins/floating-social-bar/images/fsb-sprite.png

• cdn5.example.com/wp-content/uploads/2013/11/Design-Hotel-3-80x80.jpg

• cdn5.example.com/wp-content/uploads/2013/11/Marta-Hotel-7-270x225.jpg

나는 robots.txt의 모든 것을 허용하려고 노력했지만 항상 같은 결과를 얻습니다.

또한 Amazon의 CloudFront 설정을주의 깊게 살펴보고 관련이없는 항목은 없습니다 ( "뷰어 액세스 제한 (서명 된 URL 또는 서명 된 쿠키 사용)"옵션을 사용하지 않았으며 사용하지 않았습니다).

지금 나는 이것에 대해 많은 시간을 보냈고 더 이상 아이디어가 없습니다.

누군가 Google Cloud가 Amazon CloudFront에서 호스팅되는 파일을 크롤링하지 못하도록 차단하는 이유를 생각할 수 있습니까?

따라서 해결책은 Amazon Cloudfront도 내를 평가 robots.txt하고 어떻게 든 Google과 다른 구문 규칙을 사용 하는 것 같습니다 .

내 작업 버전은 robots.txt다음과 같습니다.

User-agent: Googlebot-Image
Disallow: /
User-agent: *
Disallow: /homepage
Disallow: /uncategorized
Disallow: /page
Disallow: /category
Disallow: /author
Disallow: /feed
Disallow: /tags
Disallow: /test

이것이 이전과 정확히 동일한 기능을 수행하지 않는다는 매우 중요한 메모입니다. 사실, 나는 모든 빈 줄, 와일드 카드 및 "허용"지시문을 꺼 냈습니다. 최종 결과가 같지 않다는 것을 의미하지만 ... 나는 충분히 가깝다고 생각합니다. 예를 들어 쿼리 문자열로 전달 될 때 태그 페이지를 제외하지 않습니다.

세 가지 중요한 참고 사항 :

1. 이것을 사용하여 테스트하는 경우 robots.txt각 반복마다 클라우드 프론트 배포에서 무효화하는 것을 잊지 마십시오 . 마지막 버전이 제공되고 있는지 확인하는 것만으로는 충분하지 않습니다.

2. robot.txt아마존 클라우드 프론트가 이해 하는 구문 의 정의를 찾을 수 없었 습니다. 따라서 시행 착오였습니다.

3. 결과를 테스트하려면 Google 웹 마스터의 "가져 오기 및 렌더링"도구와 모바일 용 테스터 ( https://www.google.com/webmasters/tools/mobile-friendly/ )를 사용하십시오.

cloudfront가 내 유효성을 검사하고 평가하는 이유를 이해하지 못합니다 robots.txt. 이 파일은 나와 사이트에 오는 크롤러와의 "거래"입니다. 아마존은 중간에 사업이 없습니다. 내 엉망 robots.txt은 그냥 멍청한 짓 이야

클라우드 프론트가 내 robots.txt구문을 추측 할 수 있다는 생각은 결코 없었습니다 .

버킷에 robots.txt를 만듭니다.

클라우드 프론트 배포를위한 다른 출처를 만듭니다.

버킷 우선 순위를 웹 사이트보다 높게 설정하십시오.

Cloudfront에서 사이트의 robots.txt를 무효화하십시오.

위의 작업을 수행 한 후 Google은 사이트를 크롤링 할 때 robots.txt 사이트를 읽고 cdn의 링크를 따라갈 때 다른 robots.txt를 보게됩니다.

Google은 기본 사이트의 루트에서 robots.txt를 사용하여 외부 리소스가 색인 생성되는 것을 차단하지 않습니다. CDN 또는 기타 도메인을 사용하는 경우 CDN 또는 기타 도메인은 외부 도메인으로 분류되므로 콘텐츠를 차단하는 유일한 방법은 CDN 자체에서 제공하는 파일에서 헤더 응답을 사용하거나 CDN 또는 하위 도메인에서 robots.txt를 사용하는 것입니다 .

사용 :

#Google images
User-agent: Googlebot-Image
Disallow: /

로컬 이미지 만 차단해야하는 경우 CDN에서도 동일하게 수행해야합니다.

헤더 응답 문제 일 가능성이 있으므로 CDN의 파일 중 하나에서 'CURL'을 수행해야합니다. 다음과 같이 보일 것입니다 :

HTTP/1.0 200 OK
Cache-Control: max-age=86400, public
Date: Thu, 10 May 2012 07:43:51 GMT
ETag: b784a8d162cd0b45fcb6d8933e8640b457392b46
Last-Modified: Tue, 08 May 2012 16:46:33 GMT
X-Powered-By: Express
Age: 7
Content-Length: 0
X-Cache: Hit from cloudfront
X-Amz-Cf-Id: V_da8LHRj269JyqkEO143FLpm8kS7xRh4Wa5acB6xa0Qz3rW3P7-Uw==,iFg6qa2KnhUTQ_xRjuhgUIhj8ubAiBrCs6TXJ_L66YJR583xXWAy-Q==
Via: 1.0 d2625240b33e8b85b3cbea9bb40abb10.cloudfront.net (CloudFront)
Connection: close

주의해야 할 사항은 다음과 같습니다.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: googlebot: noindex

문제를 발견했습니다. CloudFront는 robots.txt를 읽고 컨텐츠를 제공하지 못하지만 로봇의 동작과는 어떻게 다른지 분석합니다.

예를 들어 robots.txt의 다음 내용 :

Disallow: */wp-contents/ Allow: */wp-contents/themes/

Googlebot이 가져 오면 색인을 생성합니다. CloudFront에서 읽을 때 'Allow'지시문을 고려하지 않으며 내부에 아무것도 제공하지 않습니다 */wp-contents/themes/.

간단한 답변 : CloudFront 배포에서 robots.txt를 확인하십시오. 문제 일 수 있습니다. 수정하고 올바른 버전으로 업데이트하면 작동합니다!