Google 미리보기는 Robots.txt를 준수합니까?

그것이 마치 겉 모습처럼 보이기 때문입니다. 내 사이트의 경우 이미지 디렉토리를 허용하지 않으며 미리보기에는 이미지가 모두 누락되어 사이트가 엉뚱 해 보입니다.

이 경우이며 미리보기 봇만 robots.txt를 사용하여 이미지에 액세스 할 수있는 방법이 있습니까?

편집 : 미리보기는 일반 Google Bot과 웹 마스터 센터 블로그 에서 언급 한 것처럼 즉시 봇 Google Web Preview에 의해 생성 된 것처럼 보입니다 .

사이트 : 검색 및 모니터링 소프트웨어를 사용하면 봇이 내 사이트를 방문했을 때와이 상황이 발생했을 때 미리보기에서 이미지가 제대로 표시됩니다. 따라서 일반 크롤러는 robots.txt 당 이미지를 무시하지만 미리보기 크롤러는 이미지를 가져옵니다.

내 옵션은 다음과 같이 보이기 때문에이 구현은 일종의 무례한 것처럼 보입니다.

1. Google 봇이 내 이미지를 크롤링하도록 허용 (원치 않는)
2. 미리보기를 차단하는 nosnippet 태그를 사용하지만 ALSO 스 니펫 (원치 않는)
3. 클릭 연결에 부정적인 영향을 줄 수있는 이상한 미리보기를 표시합니다.

나는 존 뮬러가 의견에서 옳았다 고 생각합니다.

이미지의 색인이 생성되지 않은 경우 크롤링을 허용하고 "noindex"가있는 x-robots-tag HTTP 헤더로 이미지를 제공 할 수 있습니다.

Google이 색인을 생성하지 않고 콘텐츠를 크롤링하도록 허용 할 수 있다는 것을 몰랐습니다. 나는 그의 기술을 제자리에 놓고 그것이 작동하는지 확인하기 위해 크롤링되기를 기다리고 있습니다.

John이 답을 얻을 수 있도록 답변 섹션에 자신의 의견을 추가하지 않는 한 며칠 안에이 답변을 수락합니다.

미리보기의 대부분은 Google 봇 크롤러가 수행하므로 사이트 일부의 크롤링을 차단하면 미리보기에 영향을 미칩니다.

Google 봇이 이미지를 크롤링하도록 허용하고 싶지 않은 이유는 무엇입니까?

다음은 단순히 귀하의 사이트에 적용 할 수도 있고 아닐 수도있는 기술 솔루션입니다.

메타 데이터 또는 robots.txt에 몇 가지 힌트만으로 Google 이이를 수행 할 수있는 방법을 Google에서 제공 할 수도 있지만 그때까지는 ....

1 단계.

첫 페이지 이미지에 대한 리디렉션 서비스 / 서블릿을 만듭니다.

즉 같은 URL

/frontpageimages/[image name]

것으로는 않습니다 서버 측 에 리디렉션을

/images/[image name]

2 단계.

첫 페이지 (및 첫 페이지 만)의 모든 이미지 링크를 다시 작성하여 이미지에 직접 연결하지 않고 1 단계부터 리디렉션 서비스를 거치도록하십시오.

3 단계.

robots.txt에서 googlebot이 크롤링 할 수 있는지 확인 /frontpageimages/

이를 통해 Google은 첫 페이지에서 발생한 이미지를 크롤링하면서 다른 페이지의 이미지는 그대로 남겨 둘 수 있습니다.

리디렉션 서비스는 이론적으로 robots.txt 를 기술적으로 위반 하지 않고 모든 이미지를 크롤링하는 데 사용될 수 있지만, Googlebot과 같은 잘 동작하는 로봇이하는 일은 아닙니다. 그리고 동작이 잘못된 로봇은 robots.txt에 대해 걱정하지 않습니다.