28 웹 서버에서 robots.txt가 비어 있음을 알았습니다. 빈 robots.txt와 파일이 전혀 없는지 궁금했습니다. 이 두 경우에 크롤러가 다르게 작동합니까? 빈 robots.txt를 삭제하는 것이 안전합니까? web-crawlers robots.txt webserver — 푸 바 소스
30 이 두 경우에 크롤러가 다르게 작동합니까? 비어 있는 robots.txt 파일은 찾을 수없는 것과 다르지 않으며 둘 다 크롤링을 허용하지 않습니다. 당신은 그러나이 많이 나타날 수 있습니다 404크롤러가 요청할 때 서버 로그에 오류를 robots.txt에의 이 질문에 표시된대로, 파일을 여기에 . 빈 robots.txt를 삭제하는 것이 안전합니까? 예, 위의 경고와 함께. — 댄 소스
13 아니요. 차이가 없습니다. 서버 로그에 404 오류가 발생하며 Google Web Master 도구와 같은 구독을하는 경우 크롤러 로봇 동작과 관련이 있지만 크롤러 로봇 동작과 관련이 있다고 말할 수 있습니다. 관심있는 로봇 — TZHX 소스