«internet-archive» 태그된 질문

사이트에서 Internet Archive 아카이브를 제어하는 ​​메커니즘이 있습니까? 추가 할 수있는 모든 페이지를 허용하지 않는 것으로 알고 있습니다 . User-agent: ia_archiver Disallow: / 봇에게 한 달에 한 번 또는 일년에 한 번 내 사이트를 크롤링하고 싶다고 말할 수 있습니까? 자산을 가져 오지 않아 사이트 / 페이지가 올바르게 보관되지 않거나 보관되지 않습니다. …

13 cache  internet-archive 

검색 엔진에서 색인을 생성하지 않으려는 웹 사이트가 있지만 archive.org에서 영원히 보존하고 싶습니다. 그래서 robots.txt이것으로 시작합니다. User-agent: * Disallow: / 오늘날 archive.org 에 따르면 robots.txt봇을 허용 하려면 다음을 추가해야합니다 . User-agent: ia_archiver Disallow: 그러나 나는 이미 2 년 전에 그들이 지시 한 것을 수행했으며 적어도 다음을 추가했습니다. User-agent: archive.org_bot Disallow: 그런 …

10 web-crawlers  robots.txt  internet-archive