robots.txt로 전체 디렉토리를 허용하지 않으려면 어떻게해야하나요?

19

현재 작업중인 두 개의 사이트 (쇼핑 카트 및 다른 쇼핑객)가 있습니다. 예를 들어 둘 다 동일한 도메인 이름 아래에 있습니다.

http://example.com/first_url 
http://example.com/second_url

이 두 URL 모두 아래에 많은 페이지가 있습니다.

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

어떻게 기본 URL 허용하지 않는 /first_url및 /second_url도 모든 하위 페이지 및 하위 디렉토리를? 나는 이와 같은 것을 생각하고 있었지만 이것이 작동하는지 여부와 그것이 올바른 구문인지 여부를 모른다

Disallow: /first_url/*/
Disallow: /second_url/*/

seo robots.txt

— 스티븐 오스터 밀러
소스

1

나는 당신의 문법이 맞다고 생각하지만 추가에 대해 확신하지 않습니다 /

26

해당 디렉토리를 막기 위해 슬래시가 필요하지 않습니다. 이것은 작동합니다 :

Disallow: /first_url/*
Disallow: /second_url/*

이 Google 도움말 페이지 에서이 내용을 잘 다룹니다.

— 존 콘데
소스

7

"Disallow : / first_url"만하면됩니다. 후행 와일드 카드는 무시됩니다. developers.google.com/webmasters/control-crawl-index/docs/…

— Evgenii

당신은 금지 필요 : / URL / * 같은 것들에 맞게 example.com/url/test?test=1

— 가레스 Daine

-1

이것을 기본값으로 사용할 수 있습니다 robots.txt.

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

별표를 사용하면 해당 카테고리의 모든 항목이 허용되지 않습니다. 특정 URL을 입력하여 해당 카테고리에서 특정 항목을 허용하지 않을 수도 있습니다.

— SAF
소스

4

시작 슬래시가없는 것 외에는 허용되는 답변과 다르지 않습니다. robots.txt의 규칙을 모두 슬래시로 시작해야합니다. 문서

— Stephen Ostermiller