«robots.txt» 태그된 질문

robots.txt에서 사이트 맵 파일에 대해 다음과 같은 상대 URL을 작성할 수 있습니까? sitemap: /sitemap.ashx 또는 다음과 같이 사이트 맵 파일에 완전한 (절대) URL을 사용해야합니까? sitemap: http://subdomain.domain.com/sitemap.ashx 왜 궁금해 : 사용자가 accountname.domain.com에서 블로그를 작성할 수있는 새로운 블로그 서비스 (www.domain.com)를 소유하고 있습니다. 와일드 카드를 사용하므로 모든 하위 도메인 (계정)이 "blog.domain.com"을 가리 킵니다. …

191 seo  sitemap  robots.txt 

내 robots.txt구글 웹 마스터 도구 쇼 다음 값 : User-agent: * Allow: / 무슨 뜻인가요? 나는 그것에 대한 충분한 지식이 없으므로 당신의 도움을 구하십시오. 모든 로봇이 내 웹 사이트를 크롤링하도록 허용하고 싶습니다. 이것이 올바른 구성인가요?

116 robots.txt 

Flask의 응용 프로그램 루트 디렉터리에 정적 파일을 저장하는 영리한 솔루션이 있습니까? robots.txt 및 sitemap.xml은 /에서 찾을 수 있으므로 내 아이디어는 경로를 만드는 것입니다. @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response 더 편리한 것이 있어야합니다 :)

94 python  flask  static  mod-wsgi  robots.txt