robots.txt의“Noindex :”는 어떻게 작동합니까?

오늘 SEO 뉴스 에서이 기사 를 살펴 보았습니다 . robots.txtNoindex: 의 표준 Disallow:지시문 외에도 지시문 을 사용할 수 있음을 의미합니다 .

Disallow: /page-one.html
Noindex: /page-two.html

검색 엔진이 페이지 1을 크롤링하지 못하게하고 페이지 2를 색인 생성하지 못하게하는 것처럼 보입니다.

이 robots.txt 지정 문은 Google 및 기타 검색 엔진에서 지원됩니까? 작동합니까? 문서화되어 있습니까?

— 스티븐 오스터 밀러
소스

나는 dunno ... bu 이것은 일부에게 매우 도움이 될 수 있습니다. 또한 사이트 맵이보다 의사 소통 적으로 확장되기를 바랍니다. 로봇과 사이트 맵 사이에서 이것은 검색 엔진 및 사이트에 대해 다른 사람들과 다시 대화 할 수있는 절호의 기회가되어야합니다. 또한 검색 엔진에 정보를 제공하는 것과 다른 방식으로 검색 엔진에 사이트에 대해 정보를 제공하는 것과 다른 방식으로 Google 사이트 검토 자와 직접 대화 할 수있는 것처럼 텍스트 기반 기회를 선호합니다. 심장 통증과 오해를 구할 수 있습니다. 죄송합니다 죄송합니다.

— closetnoc

disallow부모 및 자식 페이지에서 링크가 존재하는 경우 Google이 링크를 발견하지 못하게 하는 인상을 받고 있습니다. 하지만 noindex단순히 나열되는 페이지를 정지 해제하면이하는 동안, 그것은 발견을 멈추지 않습니다.

— Simon Hayter

@SimonHayter nofollow메타 태그에서 작동 하는 방식입니다. 이것이 robots.txt 의 경우인지 아는 것이 좋습니다 .

— Stephen Ostermiller

안녕하세요 @StephenOstermiller는 메타 태그뿐만 아니라 동일합니다 <a rel="no-follow">. 나는 그것이 다르게 취급 될 이유가 없다고 본다. 분명히 이것은 공식적이 아니며 John Muller가 robots.txt에서 사용하지 말 것을 권장하지만 그의 트윗 이외의 정보는 많이 찾지 못했습니다.

— Simon Hayter

Google은 더 이상 파일 Noindex내 지시문을 robots.txt오류로 표시하지 않습니다 .

— Aran

Google Noindex은 robots.txt에서 비공식적으로 지시문을 지원 했지만 2019 년에 지시문이 더 이상 작동하지 않는다고 발표 했습니다.

다음은 robots.txt 에서 Google의 John Mueller가 말한 내용 Noindex:입니다 .

우리는 robots.txt의 색인없는 지시어를 실험적인 기능으로 지원했습니다. 그러나 그것은 내가 의지하지 않는 것입니다. 그리고 나는 다른 검색 엔진이 그것을 전혀 사용하지 않는다고 생각합니다.

Google에서이 기능이 중단되었다고 발표하기 전에 deepcrawl.com은이 기능을 테스트 하고 다음을 발견했습니다.

2019 년 이전에는 여전히 Google에서 작동했습니다.
검색 색인에 URL이 표시되지 않았습니다.
robots.txt 에 색인이 생성되지 않은 URL 은 Google 검색 콘솔에서 URL 로 표시되었습니다.

Google에서이 기능을 중단 했으므로 더 이상 사용해서는 안됩니다.

대신 색인 생성을 방지하기 위해 잘 지원되고 문서화 된 로봇 메타 태그를 사용하십시오 .

<meta name="robots" content="noindex" />

— 스티븐 오스터 밀러
소스