robots.txt에서 상대 사이트 맵 URL을 사용할 수 있습니까?


191

robots.txt에서 사이트 맵 파일에 대해 다음과 같은 상대 URL을 작성할 수 있습니까?

sitemap: /sitemap.ashx

또는 다음과 같이 사이트 맵 파일에 완전한 (절대) URL을 사용해야합니까?

sitemap: http://subdomain.domain.com/sitemap.ashx

왜 궁금해 :

  • 사용자가 accountname.domain.com에서 블로그를 작성할 수있는 새로운 블로그 서비스 (www.domain.com)를 소유하고 있습니다.
  • 와일드 카드를 사용하므로 모든 하위 도메인 (계정)이 "blog.domain.com"을 가리 킵니다.

blog.domain.com에서 robots.txt를 넣어 검색 엔진이 사이트 맵을 찾을 수 있도록했습니다. 그러나 와일드 카드로 인해 모든 사용자 계정이 동일한 robots.txt 파일을 공유하므로 두 번째 대안을 사용할 수 없습니다. 그리고 지금은 txt 파일에 URL 다시 쓰기를 사용할 수 없습니다. (나는 이후 버전의 IIS가 이것을 처리 할 수 ​​있다고 생각합니까?)

답변:


318

sitemaps.org 의 공식 문서에 따르면 전체 URL이어야합니다.

robots.txt 파일을 사용하여 Sitemap의 위치를 ​​지정할 수 있습니다. 이렇게하려면 전체 URL 을 포함 하여 다음 줄을 사이트 맵에 추가하면됩니다 .

Sitemap: http://www.example.com/sitemap.xml

31
@unor의 예는 다음과 같습니다. 대문자 S의 Sitemap. Robots.txt는 대소 문자를 구분하므로 중요합니다.
BodgeIT

19
그리고 경우의 주제에서 robotstxt.orgrobots.txt 는 대문자 R없이 파일 이름을 지정합니다 .
khargoosh

사이트가 https를로드하는 경우 http로 언급 된 Sitemap URL입니다. 괜찮습니까? 아니면 프로토콜을 기반으로 사이트 맵 URL을 배치해야합니까?
Shams

4
@Shams : 사이트 맵에 나열된 URL은 사이트 맵 파일과 동일한 프로토콜 및 호스트를 사용해야합니다. http https 에서 사이트를 사용할 수 있는 경우 표준 변형과 함께 하나의 사이트 맵 만 제공해야합니다 .
unor

2

Google 크롤러는 충분히 영리하지 않고 상대 URL을 크롤링 할 수 없으므로 크롤링 및 색인 기능을 향상시키기 위해 절대 URL을 사용하는 것이 좋습니다.

따라서이 변형을 사용할 수 없습니다

> sitemap: /sitemap.xml

권장 구문은

Sitemap: https://www.yourdomain.com/sitemap.xml

노트 :

  • "사이트 맵"의 첫 글자를 대문자로 표기하는 것을 잊지 마십시오
  • "Sitemap :"다음에 공백을 두는 것을 잊지 마십시오

-2

좋은 기술 및 논리적 질문 내 사랑하는 친구. robots.txt 파일에는 사이트 맵의 상대 URL을 사용할 수 없습니다. 사이트 맵의 전체 URL을 사용해야합니다.

"sitemap : https://www.example.com/sitemap_index.xml을 사용하는 것이 좋습니다. "을

위의 URL에서 콜론 뒤에 공백이 생깁니다. 나는 또한 Deepak을 지원하고 싶습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.