특수한 동작을 설정하지 않으려면 robots.txt 파일을 갖고 싶지 않아도 괜찮습니까?

29

아니면 하나의 부족이 해로울 수 있습니까?

robots.txt

— 단 두미 트루
소스

30

robots.txt 파일이 없으면 해롭지 않습니다. 로부터 robotstxt.org 웹 사이트 :

모든 로봇이 완전히 액세스 할 수 있도록

사용자 에이전트 : *
허용 안함 :

(또는 빈 "/robots.txt"파일을 만들거나 전혀 사용하지 마십시오)

그러나 robots.txt 파일에 아무 것도 지정하지 않더라도 검색 엔진에 XML Sitemap 위치를 알려주 는 좋은 방법입니다 . robots.txt 파일 맨 위에 다음과 같은 줄을 추가하면됩니다.

사이트 맵 : http://www.example.com/sitemap-host1.xml

그렇지 않으면 웹 로그에 많은 404 개의 항목이 생성됩니다.

— JasonBirch
소스

+1-좋은 요약이지만 Kinopiko가 이미 올바르게 강조한 것을 강조하고 싶습니다 . 단지 404 를 피하고 (사이트 404 페이지 처리에 따라) 잠재적으로 약간의 트래픽 / 대역폭 을 피하기 위해 가장 기본 또는 비어있는 것을 작성 하십시오 . 검색 엔진은 변경되지 않은 경우 파일을 다시 다운로드하지 않고 비워 두지 않도록 적절한 HTTP 캐시 제어 를 적용합니다 .

— Steffen Opel

위키로 표시되어 있으므로 적절하게 수정하십시오.

— JasonBirch

21

"robots.txt"가 없으면 오류 로그에 파일에 404가 많이 생겨 파비콘이없는 경우와 마찬가지로 일종의 성가심이 될 수 있습니다.

1

훌륭한 포인트 ..

— Jeff Atwood

1

+1-더 크고 시끄러운 로그 파일을 저장하지 않고 사이트 404 페이지 처리에 따라 대부분의 404 페이지로 인해 잠재적 인 트래픽 / 대역폭 을 피할 수 있다고 덧붙이고 싶습니다. robots.txt검색 엔진이 적절한 HTTP 캐시 제어를 적용하여 다운로드 빈도가 낮은 단순한 파일 보다 큽니다 .

— Steffen Opel

6

나는 것이라고 생각 이 다른 웹의 거대한 한번 벤 면적이 웹 거미에 의해 해제 색인 것, 확인 할 수 있습니다.

robots.txt"모든 사람이 색인을 생성 할 수 있습니다"라는 robots.txt정의와 거의 동일 하지 않습니다 .

— 제프 애트우드
소스

2

robots.txt 파일이 없으면 크롤러가 파일을 검색하여 수행 할 수있는 작업과 수행 할 수없는 작업을 결정합니다. 모든 종류의 모호성을 피하는 데 몇 초 밖에 걸리지 않기 때문에 모든 에이전트가 모든 것에 액세스 할 수 있도록하는 것이 어떻습니까?

— 팀 포스트
소스

0

글쎄, robots.txt귀하의 사이트 맵 주소가 포함되어 있기 때문에 잠재적으로 해를 끼치 지 않습니다.

— 토마스 보니 니
소스

사이트 맵은 특정 유형의 웹 사이트에만 유용합니다. IMO

— Jeff Atwood

또한 robots.txt가없는 상태에서 크롤러 (특히 Google)가 /sitemap.xml 또는 /sitemap.gz를 찾는 것을 보았습니다.

— Tim Post

robots.txt에 사이트 맵이 없어도 Google / Yahoo / Bing에 사이트 맵을 제출할 수 있습니다. "잠재적으로 유해한"것은 아닙니다.

— DisgruntledGoat

0

검색 엔진으로 사이트의 모든 페이지에 색인을 생성하기 만하면 로봇 파일이없는 문제는 콘텐츠에 따라 다릅니다.

— seanl
소스