Google 웹 마스터 도구가 잘못된 URL을 크롤링하고 500 개의 오류를 표시하는 이유는 무엇입니까?

Google 웹 마스터 도구에서 12k + 500 오류가보고되었습니다. 여덟!

유효한 URL이 없습니다. 모두 www.youtube.com을 포함합니다. 첫째, 왜 이러한 URL이 존재하지 않는 경우 Google에서 크롤링합니까? 사이트 맵을 제공했는데 사이트 맵에는 없습니다.

아무것도 차단하는 robots.txt가 없습니다. 유효하지 않은 리디렉션 (없음)을 확인했으며 닫히지 않은 태그 나 실수로 www.youtube.com을 URL에 넣을 수있는 항목은 없는지 확인했습니다.

'연결된'모든 사이트에서 참조 URL은 잘못된 URL이며 www.youtube.com도 포함되어 있습니다. Google 도구는 악성 코드를보고하지 않으며 호스트가 액세스 권한을 부여하지 않기 때문에 서버 로그를 확인할 수 없습니다.

정말 붙어! 모든 아이디어에 감사드립니다!

이상하고 엉망인 URL이 웹 마스터 도구에서 크롤링 오류로 표시 될 수있는 일반적인 이유에는 두 가지가 있습니다.

첫 번째 가능성은 누군가가 내 페이지 (또는 귀하의 페이지로 연결되는 다른 페이지)를 복사하여 프로세스의 링크를 엉망으로 만들었을 수 있습니다. 이것은 생각보다 자주 발생합니다. 예를 들어이 Google 웹 마스터 블로그 게시물 의 여섯 번째 질문을 참조하십시오 .

다른 가능성은 구글 봇 자체가 자바 스크립트 링크라고 생각하는 것을 따르려고 노력하고 있다는 것이다 . 일반적으로 참조 페이지 ( Google에서 크롤링을 시작한 경우 존재하고 액세스 가능 해야 함) 를 방문하여 소스에서 대상 페이지의 이름을 찾아 두 경우를 구분할 수 있습니다.

어느 쪽이든, 기본적으로 할 수있는 두 가지가 있습니다. 링크를 무시하거나 깨진 URL을 작동하는 URL에 매핑하기 위해 다시 쓰기 규칙 을 생각해 보십시오. URL에서 명백한 패턴을 볼 수 있고 정규 표현식에 익숙한 경우 후자의 방법을 권장합니다. 크롤링 오류 목록을 정리하고 작고 치즈 맛이 있지만 실제 PageRank 향상을 제공 할 수도 있습니다 .

세 번째 옵션은 다른 사람이 허가없이 귀하의 콘텐츠를 복사 한 것으로 밝혀 지면이를 공개 해제하는 것 입니다. 정당하다고 생각되는 경우 호스팅 제공 업체에 불만 (및 / 또는 공식 게시 중단 요청)을 보낼 수도 있습니다. 물론, 그들은 주어진 하는 분명히 당신의 위치에 다시 연결, 당신은 반드시 그 가치가 노력을 찾을 수 있습니다.

Google은 즉시 모든 페이지를 색인하지는 않습니다.

구글 색인 생성 페이지는 가장 높은 수준입니다. 그런 다음 며칠 후 Google은 두 번째 수준의 페이지 (Google이 첫 번째 수준의 페이지에서 링크를 찾은 페이지) 등을 색인하려고합니다. 이런 식으로 Google은 사이트의 각 페이지를 색인 생성하려고합니다. 따라서 Google은 계층 적 링크 트리를 만들고 각 페이지에 어떤 페이지가 연결되어 있는지 알고 있습니다.

그런 다음 Google은 일정 시간이 지난 후 색인이 생성 된 각 페이지를 방문하여 페이지의 콘텐츠가 변경되었는지 확인합니다. 각 페이지 및 각 사이트에 대한 색인 작성 간격은 여러 가지 요소를 기반으로합니다.

따라서 일부 페이지를 삭제하고 다른 모든 페이지에서이 페이지에 대한 모든 링크를 업데이트 한 경우 Google은 해당 페이지를 즉시 알지 못하며 일정에 따라이 페이지의 색인을 생성 할 예정이므로 삭제 된 페이지의 색인을 생성하려고합니다.