robots.txt 파일에서 정규식을 사용하여 URL을 차단할 수 있습니까?

동적으로 생성 된 URL이 몇 개 있습니다.

regex를 사용하여 robots.txt 파일에서 이러한 URL을 차단할 수 있습니까?

robots.txt regular-expression

— 수 데라 Njs
소스

크롤링 / 인덱싱을 원하지 않는 페이지에 로봇 메타 태그 를 설정 하는 것도 좋습니다.

— Andrew Lott

@AndrewLott 내 경우에는 500 페이지 이상이 있으므로 robots.txt에서 정규식을 사용하는 것으로 생각했습니다.

— Sudheera Njs

그러면 사이트 코드의 규칙이 더 도움이 될 것입니다.

— Andrew Lott

robots.txt에서는 정규식이 유효하지 않지만 Google, Bing 및 일부 다른 봇은 일부 패턴 일치를 인식합니다.

URL의 example어느 곳에 든있는 모든 URL을 차단 하려면 와일드 카드 항목을 사용할 수 있습니다. *

User-agent: *
Disallow: /*example

달러 기호 $를 사용하여 URL이 그런 식으로 끝나도록 지정할 수도 있습니다. 따라서 exampleURL로 example다른 URL이있는 URL이 아닌로 끝나는 모든 URL을 차단 하려면 다음을 사용할 수 있습니다.

User-agent: *
Disallow: /*example$

Google에 대한 자세한 정보는 여기를 참조하십시오. Robots.txt 사양 , Bing 여기 : Robots.txt 파일을 작성하는 방법 및 여기 Moz에 대한 대화식 안내서가 있습니다.

— 맥스
소스

완벽, * 잘 작동, 웹 마스터 도구에서 테스트 .. 감사 맥스 ... :)

— Sudheera Njs

robots.txt 파일에 너무 멋진 지시어를 사용하지 않도록주의해야합니다. 이것들은 나중에 디버깅하기가 정말 어렵습니다. 가능한 한 간단하게 유지하십시오. 또한 robots.txt는 대소 문자를 구분하므로 사이트에 따라 다른 버전의 지시문을 추가해야 할 수도 있습니다.

— John Mueller

정규식이 지원되면 좋을 것입니다

— SuperUberDuper