사이트 맵에 모든 내용을 포함해야합니까 아니면 새로운 콘텐츠 만 포함해야합니까?

동적 콘텐츠가있는 웹 사이트 (새로운 콘텐츠가 지속적으로 추가되고 있음)의 경우, 사이트 맵에 최신 콘텐츠 만 포함 시키거나 모든 것을 포함시켜야합니까 (사이트 맵 색인 포함)? 사이트 맵 esp에 대한 모범 사례는 무엇입니까? 큰 사이트의 경우?

또한 Google (및 기타 검색 엔진)이 사이트 맵의 페이지 만 크롤링하도록해야합니까?

감사

업데이트 :
또한 stackoverflow가 이것을 어떻게 처리하는지 알고 있습니까? 안타깝게도 (또한 이해 적으로 ) 사이트 맵에 대한 액세스를 차단 하고 싶습니다 .

seo sitemap

— 미
소스

사이트가 얼마나 큽니까? robots.txt와 사이트 맵에는 크기 제한이 있습니다. 놀랍게도, 많은 사람들이 둘 다를 초과하기 때문에 내가 묻는 이유입니다.

— Tim Post

@Tim, 지금은 크지 않지만 (모든 것이 하나의 사이트 맵에 맞을 수는 있지만) 미리 계획하려고합니다.

— Mee

모든 페이지를 포함하십시오. XML 사이트 맵의 목적은 모든 콘텐츠에 대해 검색 엔진에 알리는 것입니다. 새로운 것만이 아닙니다.

sitemaps.org 웹 사이트 (강조 광산)에서 :

사이트 맵은 웹 마스터가 검색 엔진에 사이트에서 크롤링 할 수있는 페이지에 대해 알리는 쉬운 방법입니다 .

콘텐츠가 많으면 여러 XML 사이트 맵을 사용할 수 있습니다 .

크롤링하거나 색인을 생성하지 않으려는 콘텐츠가있는 경우 검색 엔진에 해당 페이지를 크롤링 및 색인 생성하지 않도록 구체적으로 지시해야합니다. robots.txt 파일을 사용하여 크롤링하지 않을 페이지 나 디렉토리를 차단하십시오. 메타 태그 를 사용할 수도 있습니다 . 그러나 목록에없는 페이지를 크롤링하지 않도록 XML 사이트 맵에서 지정할 수 없습니다.

— 존 콘데
소스

답변 해 주셔서 감사합니다. 사이트 맵에 모든 내용을 포함하겠습니다.

— Mee

50 + k 페이지를 처리 할 수있는 라이브러리가 있습니까?

데이터베이스에 50k + 이상의 페이지가 있습니까?

— John Conde

사이트의 모든 페이지를 사이트 맵에 배치 할 필요는 없습니다. 사이트 맵은 크롤링 할 수있는 페이지에 대해 검색 엔진에 알리는 데 유용합니다. 검색 엔진이 이미 크롤링 가능한 모든 페이지를 볼 수 있고 "마지막으로 수정 된"에 대한 정보를 추가하지 않는 경우 페이지를 가질 이유가 없습니다.

— Django Reinhardt

이 답변은 webmasters.stackexchange.com/a/5151/30596 과 다소 충돌하는 것 같습니다 . Google의 @John Mueller 인용

Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.

— 사용자