내가 아는 한, 어떤 로봇이나 앱도 sitemap.xml 을 요청 하지 않고 요청 하지 않습니다. 대부분의 사이트에는 없을 수도 있고, 그 사이트의 대부분은 gzip을 사용하며, 파일을 다른 것으로 호출하거나 사이트 맵을 하위 폴더에 넣습니다.
내가 아는 전부는 다음과 같습니다.
- favicon.ico
페이지에 탭, 책갈피 등의 아이콘을 제공합니다.
- robots.txt
검색 엔진에서 페이지를 차단해야하지만 모든 항목에 액세스 할 수 있도록 비워 둘 수있는 경우에 유용합니다. 사이트 맵의 위치를 포함 할 수도 있습니다.
- 웹 마스터 도구 확인 파일
가장 쉬운 확인 방법입니다 (HTML 코드에 쓸모없는 메타 태그가 저장 됨). 있다 google[hash].html
및 BingSiteAuth.xml
. 내 루트에는 Yahoo 용 계정도 있지만 더 이상 필요하지 않을 것입니다.
- crossdomain.xml
이 파일은 Flash가 사이트에 연결해야 할 때마다 Adobe Flash에서 요청합니다. 작은 사이트의 로그에서이 파일을 볼 수는 없지만 한 사이트에서 요청이 많았습니다. 기본값은 외부 사이트에 대한 액세스를 차단하는 것이므로 빈 파일을 만들 수 있습니다.
- .htaccess (Apache)
브라우저 / 봇은 요청하지 않지만 대부분의 사이트에 필수적입니다.
마지막으로, iPhone이 요구하는 아이콘과 관련하여 요청 될 수있는 몇 가지 크기가 있습니다. 내 iPhone 3G (iOS 5)는 57x57 버전을 요청하고 오류 로그에 72x72 및 114x114 (가장 일반적)가 표시됩니다. 따라서 로그에서 404를 모두 제거하려면 당황스럽게 다음을 모두 제공해야합니다.
/apple-touch-icon-57x57-precomposed.png
/apple-touch-icon-57x57.png
/apple-touch-icon-72x72-precomposed.png
/apple-touch-icon-72x72.png
/apple-touch-icon-114x114-precomposed.png
/apple-touch-icon-114x114.png
/apple-touch-icon-precomposed.png
/apple-touch-icon.png