«web-crawlers» 태그된 질문

사이트를 새 도메인으로 마이그레이션했습니다. 사이트 자체는 매우 간단하며 (Jekyll 사용) Disqus 스레드의 마이그레이션을 제외하고는 모든 것이 잘 진행되었습니다. 내가 했어 부분 성공 - 스레드의 일부가 성공적으로 마이그레이션 한, 전부는 아니지만. 도메인 마이그레이션 마법사 (몇 개를 잡은), URL 매퍼 (몇 개를 잡은) 및 301 리디렉션 크롤러 (몇 개를 잡은)를 시도했습니다. 그러나 …

9 web-crawlers 

Ask.com내 사이트 맵을 핑하는 데 검색 엔진 중 하나로 사용 하고 있습니다. 사이트 맵을 다시 색인화하기 위해 오늘 내 사이트 맵을 핑하러 갔을 때 웹 사이트 ( http://submissions.ask.com/ping )에 더 이상 존재하지 않는다고 표시되어 있습니까? DNS 조회를했는데 하위 도메인이 제거 된 submissions.ask.com것으로 보이지만 웹 사이트 크롤러 FAQ에 여전히 나열되어 있습니까? …

9 search-engines  sitemap  web-crawlers  ping 

규정상의 이유로 자동으로 색인을 생성하거나 검색 할 수없는 사이트가 있습니다. 즉, 모든 로봇을 멀리하고 사이트를 스파이더 링하지 않아야합니다. 분명히 우리는 처음부터 모든 것을 허용하지 않는 robots.txt 파일을 가지고 있습니다. 그러나 robots.txt 파일을 관찰하는 것은 로봇이 잘하는 행동입니다. 최근에 로봇의 동작이 좋지 않은 문제가있었습니다. 몇 가지 사용자 에이전트 를 금지 하도록 …

9 apache  web-crawlers  user-agent