Robots.txt-CSS 허용 또는 금지

robots.txt 에서 CSS와 템플릿이 허용 됩니까?

문제가 발생합니까?

Joomla에서는 robots.txt 에서 CSS 및 템플릿이 허용되지 않습니다 . 다가오는 웹 사이트의 CSS, 템플릿 등을 로봇에 허용하지 않는지에 대한 해결책을 찾도록 도와주세요.

css robots.txt

— 만주 조지
소스

Joomla가 기본적으로 이러한 파일을 차단한다고 생각하지 않습니다. 이것이 의미하는 바입니까?

— MrWhite

답변:

Google은 최근 robots.txt 에서 CSS 또는 JS 파일에 대한 액세스를 차단해서는 안된다고 공식적으로 설명하기 위해 가이드 라인을 업데이트했습니다 . 이를 통해 Google이 사이트를 크롤링 할 때 브라우저처럼 정확하게 사이트를 렌더링 할 수 있습니다.

CSS 또는 JS 파일을 차단하면 순위에서 웹 사이트의 성능이 저하 될 수 있습니다.

자세한 내용은 여기 : 기술 웹 마스터 지침 업데이트 및 여기 : 웹 마스터 지침

이것이 최근의 권장 사항이므로 많은 웹 사이트 및 CMS (예 : Joomla)는 종종 robots.txt 에서 이러한 파일을 차단 합니다 . 그 이유는 일반적으로 검색 엔진이 이러한 파일을 크롤링하거나 색인을 생성 할 필요가 없기 때문에 불필요한 파일과 디렉토리의 색인이 생성되는 것을 막고 '크롤링 예산'을 저장하기 위해 종종 robots.txt 에서 차단됩니다 .

— 맥스
소스

구글은 실제로 사이트를 크롤링하는 G의 기능에 해를 끼칠 수있는 JS와 CSS (2012 년 3 월의 매트 컷츠 비디오)를 차단해서는 안된다는 말을 오랫동안 해왔다.

— MrWhite

10 년 이상 CSS와 JS를 차단하지 않는 것이 좋습니다. 검색 엔진에 의한 렌더링은 새로운 것처럼 보이지만 실제로는 아니고 간단한 JS를 포함한 일부 렌더링 형식이 오랫동안 존재했습니다.

— closetnoc

추가 참고 사항 (JS와 자주 사용되기 때문에 다소 관련이 있음)-테마 /보기 / JSON / URI를 통해 경로에 액세스 할 수있는 모든 컨트롤러와 관련하여-차단하거나 테마가 아닌 페이지가 아닌 색인이 아닌 영역에 직면 할 수 있습니다 데이터 패싯. 이것은 "보기"영역으로, 특히 JS가 JSON처럼 사용하는 것을 차단하기에 유효합니다. 종종 G는 JS를 실행하고 JSON 링크를 참조하여 방문합니다. 오류가 발생하거나 테마가 나오면 색인이 절반으로 생성됩니다. 그것은 완전히 새로운 can-o-worms이지만, 알고 있어야합니다.

— dhaupin

Google이 말한대로해야 할화물 컬트 태도에 대한 강한 의견 불일치를 표현해야한다는 느낌이 들었습니다. 구글은 또한 이미지 크롤링, HTTPS 사용 등을 허용하면 사이트의 순위가 높아질 것이라고 밝혔다. 구글이 말하는 모든 것을 준수함으로써 더 큰 수요를 낼 수 있도록 더 많은 힘을 제공 할 뿐이다. 하루가 끝나면 인간이나 로봇을위한 웹 사이트를 구축하고 있습니까?

— 질문 오버플로

Google의 좋은 순위에 얼마나 의존하는지에 달려 있다고 생각하십니까? 대부분의 것들과 마찬가지로, 그것의 많은 요인들에 대한 유일한 지표입니다. 당신이 언급했듯이 그들은 최근 HTTP가 작은 순위 요소라고 말했지만, 내가 작업하는 100 대 사이트 중 하나를 HTTP로 변경하지 않았으며 순위는 괜찮습니다.

— Max

robots.txt에 대한 전략 은 항상 로봇이 크롤링 해서는 안되는 웹 섹션과 로봇 이 크롤링 할 수 없는 섹션에 대한 질문에 대한 답변으로 이루어져야합니다 .

로봇은 자체 로직을 구현하고 여러 가지 목적을 가지고 있습니다 (Google에는 크롤러가 있습니다 ...) CSS와 JS 파일에 의해 로봇이 어떻게 "산만 해졌다"고 가정하면 로봇의 블랙 박스를 열고 무엇을 가정합니다 로봇 의 현재 구현과 현재 의도는 이것은 유용한 장기 전략이 아닙니다.

로봇의 영역에서 생각하는 대신 웹의 컨텐츠 영역에서 생각하십시오.

robots.txt 파일이 보안 메커니즘이 아님 을 지적하고 싶습니다 .

— 생 델라 마
소스

템플릿은 블로깅 또는 CMS (콘텐츠 관리 소프트웨어) 응용 프로그램에서 사용되며 브라우저 및 검색 엔진에서 CSS를 읽고 읽을 때 외부에서 액세스 할 수 없어야합니다. 그러나 어느 쪽도 차단하지는 않지만 CMS의 변경 사항은 변경하지 않습니다. 검색 엔진과 봇은 템플릿에 신경 쓰지 않습니다. 색인 생성 또는 읽기를 원하지 않지만 robots.txt를 보안 도구로 생각하지 않는 URL / URI로 사이트에 대한 액세스를 차단하십시오. 그것을 위해 설계되지 않았습니다.

— closetnoc
소스