"결과 없음"페이지에 Soft 404 오류가 발생하지 않도록하려면 어떻게해야합니까?

최근 Google 웹 마스터 도구에 점점 더 많은 Soft 404 오류 목록이있는 것을 발견했습니다. 모두 "일치하는 항목이 없습니다"를보고하는 동적으로 생성 된 검색 결과 페이지를위한 것입니다.

내가 할 구글이 무엇을 의미하는지 이해 소프트 (404) 와 왜이 페이지에이를보고하고있다. <meta name="robots" content="noindex">이 페이지에 추가 했습니다.

그러나 Google은 noindex 메타 태그를 사용하는 페이지에 대해 새로운 Soft 404 오류를 계속보고 하고 있습니다 .

Google 은 색인을 생성하지 말라고 한 페이지에 대해 오류를 보고 하는 이유는 무엇 입니까?

문제는 이러한 모든 원치 않는 오류로 수정해야 할 실제 문제가 있는지 확인할 수 없다는 것입니다.

일부는이 페이지가 404 상태 코드를 반환해야한다고 말했습니다. 그러나 이것은 문제를 404 오류 탭으로 넘어갑니다. 또한 Google은 결과 페이지 없음에 대해 상태 코드 200을 반환합니다 .

이 페이지의 링크를 따라 가고 Google에 noindex 메타 태그 가 표시되기를 원하므로 robots.txt 로의 액세스를 차단하고 싶지 않습니다 . 게다가, 이것을 막기 위해 사용할 수있는 패턴이 없습니다.

Google은 콘텐츠가 존재했지만 삭제 된 이후 처음부터 이러한 URL을 발견했습니다. PHP 코드에는 결과가없는 이유를 알 수있는 방법이 없기 때문에 410 상태 코드를 반환 할 수 없습니다.

실제 문제를보다 쉽게 ​​파악할 수있는 방법이 있습니까?

Google이 사이트 검색 페이지를 크롤링하지 못하게해야합니다. Google은 사이트 검색 을 전혀 크롤링하고 싶지 않습니다 . 다음은이 문제에 대한 Google의 Matt Cutts 블로그 게시물 입니다. 2007 년 3 월 10 일 Matt Cutts의 검색 결과 검색 결과 . Google은 이제 사이트 검색 결과를 크롤링하여 Google SERP에 표시 할 수있는 사이트에 적극적으로 처벌 합니다. Googlebot이 검색 결과 페이지를 크롤링하도록 허용하면 모든 Google 추천 트래픽 이 위험에 처하게 됩니다 . Google 검토자가 가장 좋아하는 방법은 사이트 검색에서 "Viagra"와 같은 스팸 용어를 찾는 것입니다. 크롤링 가능한 페이지가 결과로 표시되면 ( "비아그라에 대한 결과가 없습니다"라고 표시 되더라도) 스팸 사이트로 사이트에 대해 수동 벌칙을 적용합니다.

에 사이트 검색을 넣어야합니다 robots.txt. Googlebot이 여전히 콘텐츠 페이지를 크롤링 할 수 있는지 확인하십시오. 그런 다음 새로운 soft 404 오류가보고되지 않습니다.

많은 404 오류 (소프트 404 오류조차도)는 사이트 순위에 영향을 미치지 않습니다. Google은 색인을 생성할지 여부와 연결 여부에 관계없이 찾아서 크롤링 할 수있는 모든 페이지에 오류를보고합니다. 오류 보고서는 귀하의 이익을 위해서만 제공되며 귀하가 완전히 정보를 받아야하는 것처럼 느끼기 때문에이를 수행합니다.

다음은 구글의 존 뮬러가 말한 내용입니다 .

1. 잘못된 URL의 404 오류는 사이트의 색인 생성이나 순위에 영향을 미치지 않습니다. 1 억 또는 1 천만 개가 있는지는 중요하지 않으며 사이트 순위에 영향을주지 않습니다. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. 경우에 따라 크롤링 오류는 웹 사이트 또는 CMS 내의 합법적 인 구조적 문제로 인해 발생할 수 있습니다. 당신은 어떻게 말합니까? 크롤링 오류의 출처를 다시 확인하십시오. 사이트, 페이지의 정적 HTML에 링크가 끊어지면 항상 수정해야합니다. (고마워 + 마 티노 모스 나)
3. "분명히 깨진"펑키 URL은 어떻습니까? 귀하의 사이트와 같은 Google 알고리즘이 JavaScript에서 새 URL을 검색하는 등 더 훌륭한 콘텐츠를 찾으려고 시도 할 수 있습니다. 이러한 "URL"을 시도하고 404를 찾으면 훌륭하고 기대됩니다. 우리는 중요한 것을 놓치고 싶지 않습니다 (과도하게 연결된 Googlebot meme을 여기에 삽입하십시오). http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. 웹 마스터 도구에서 크롤링 오류를 수정할 필요가 없습니다. "고정 된 것으로 표시"기능은 진행 상황을 추적하려는 경우에만 도움이됩니다. 웹 검색 파이프 라인의 내용은 변경되지 않으므로 필요하지 않은 경우 무시하십시오. http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. 웹 마스터 도구의 크롤링 오류는 우선 순위별로 나열되며 여러 가지 요소를 기반으로합니다. 크롤링 오류의 첫 페이지가 명확하지 않은 경우 추가 페이지에서 중요한 크롤링 오류를 찾지 못할 수 있습니다. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. 웹 사이트에서 크롤링 오류를 "수정"할 필요는 없습니다. 404를 찾는 것은 정상이며 건강하고 잘 구성된 웹 사이트에서 기대됩니다. 동등한 새 URL이있는 경우 해당 URL로 리디렉션하는 것이 좋습니다. 그렇지 않으면 가짜 콘텐츠를 만들거나 홈페이지로 리디렉션해서는 안되며 robots.txt에서 URL을 허용해서는 안됩니다. 이러한 모든 것들 때문에 사이트 구조를 인식하고 제대로 처리하기가 더 어려워집니다. 우리는 이러한 "소프트 404"오류를 호출합니다. http://support.google.com/webmasters/bin/answer.py?answer=181708
7. 분명히-크롤링 오류가 관심있는 URL (예 : Sitemap 파일의 URL)에 표시되는 경우 즉시 조치를 취해야합니다. Googlebot이 중요한 URL을 크롤링 할 수없는 경우 Google 검색 결과에서 URL이 삭제되어 사용자가 해당 URL에 액세스하지 못할 수 있습니다.