«robots.txt» 태그된 질문

방금 새 사이트에서 robots.txt 파일을 업데이트했습니다. Google 웹 마스터 도구에서 마지막 업데이트 10 분 전에 내 robots.txt를 읽었습니다. Google이 가능한 빨리 robots.txt를 다시 읽도록 권장 할 수있는 방법이 있습니까? 업데이트 : 사이트 구성 | 크롤러 액세스 | robots.txt 테스트 : 홈페이지 액세스 표시 : Googlebot이 http://my.example.com/ 에서 차단되었습니다 . 참고 …

22 google  robots.txt  google-webmaster-tools 

하기 위해 : 내 웹 사이트의 보안 강화 대역폭 요구 사항 감소 이메일 주소 수집 방지

14 performance  security  robots.txt 

robots.txtnginx http 서버 아래의 모든 가상 호스트 를 설정하려고 합니다. 나는 다음을 main에 두어 Apache에서 할 수있었습니다 httpd.conf. <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt 아래의 (a) nginx.conf 및 (b) conf.d / robots.conf를 포함하여 nginx와 비슷한 작업을 시도했습니다. location ^~ /robots.txt { alias /var/www/html/robots.txt; } 나는 '='로 시도했고 심지어 …

13 nginx  robots.txt 

가상 호스트를 사용한 XAMPP Apache 개발 웹 서버 설정이 있으며 serps가 모든 사이트를 크롤링하지 못하게하려고합니다. 이것은 robots.txt 파일로 쉽게 수행 할 수 있습니다. 그러나 모든 가상 호스트에 disallow robots.txt를 포함하지 않고 다른 서버에서 사이트를 방문했을 때 제거해야합니다. 모든 호스트의 robots.txt에 대한 모든 요청을 단일 robots.txt 파일에 다시 쓰는 방법은 아파치 …

10 apache-2.2  php  robots.txt