유효한 최소 robots.txt 파일은 무엇입니까?

내 웹 서버 의 access.log 에 많은 404 오류가 표시되는 것을 좋아하지 않습니다 . 크롤러가 robots.txt 파일 을 열려고하는데 찾을 수 없기 때문에 이러한 오류가 발생 합니다. 따라서 로그 파일에 404 오류가 나타나는 것을 방지 하는 간단한 robots.txt 파일 을 배치하고 싶습니다 .

사이트의 모든 항목을 크롤링 할 수 있는 최소 유효한 robots.txt 파일 은 무엇입니까 ?

여기 에 표시된 대로 웹 서버의 최상위 디렉토리에 robots.txt 라는 텍스트 파일을 작성 하십시오 . 비워 두거나 다음을 추가 할 수 있습니다.

User-agent: *
Disallow:

로봇이 모든 것을 크롤링하기를 원한다면 . 그렇지 않은 경우 더 많은 예제를 보려면 위의 링크를 참조하십시오.

가장 작은 robots.txt것은 완전히 비어있는 파일입니다.

비어 Disallow있거나 비어있는 것과 같은 다른 "널"지시문 Allow: *은 작동하지 않기 때문에 쓸모 없을뿐만 아니라 불필요한 복잡성을 추가합니다.

파일이 완전히 비어 있지 않게하거나보다 사람이 읽을 수있게하려면 다음과 같이 #문자로 시작하는 주석을 추가하십시오 # blank file allows all. 크롤러는로 시작하는 행을 무시합니다 #.

나는 이것을 말할 것이다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Google은 모든 것을 크롤링 할 수 있지만 Google은 관리자 패널을 크롤링하지 않습니다. 당신에게 이상적인 상황입니다.