«googlebot» 태그된 질문

db-ip를 사용하여 모든 회원의 위치 정보를 추적하고 있으며 Chrome 브라우저가있는 휴대 전화를 제외한 모든 것이 좋습니다. 그들은 항상 나에게 결과를 제공 US Mountain View California ip:66.249.xxx.xxx합니다. 이것은 구글입니다. 나는 100 % 확신합니다. 그러나 웹 사이트를 방문하는 사람은 나 자신입니다. 나는 미국에도 없다. 로컬 GSM ISP를 사용하고 있습니다. Chrome 브라우저에서 모바일을 …

27 googlebot  mobile  ip-address  google-chrome 

어떻게이의이 결과 같은 Google 검색 결과에 표시 내 XML 사이트 맵 파일을 방지 할 site:검색 쿼리 : Google이 검색 결과에 사이트 맵 파일을 표시하기로 선택한 이유를 이해하지 못합니다. 이 파일은 사람이 사용할 수 없습니다. Google은 크롤링하여 처리 할 수 ​​있어야하므로 robots.txt 에서 허용하지 않습니다 . 나는 그들이 처리 한 후 …

23 google  sitemap  search-engine-indexing  googlebot  xml-sitemap 

Baidu 스파이더 크롤링 빈도가 많이 만들어졌습니다. 사실 : "Baiduspider는 미친 듯이 기어 다닌다." 작업하는 사이트에서이 현상이 발생했습니다. 적어도 Baiduspider가 Baibot이 Google보다 약 0.1 % 많은 트래픽을 제공한다는 사실에도 불구하고 Baiduspider가 Googlebot과 거의 동일한 빈도로 크롤링되는 것을 발견했습니다. 내 방문을 그대로 유지하고 싶습니다. 언젠가는 커질 지 모르지만 서버에 과도한로드를 허용 할 …

18 seo  search-engines  googlebot  web-crawlers 

일주일 전에 내 사이트 중 하나에 robots.txt 파일을 추가했는데 Googlebot이 특정 URL을 가져 오지 못했을 것입니다. 그러나 이번 주말에 Googlebot이 정확한 URL을로드하는 것을 볼 수 있습니다. Google은 robots.txt를 캐시합니까? 그렇다면 캐시 해야합니까?

17 googlebot  robots.txt  google-cache 

반응 형 웹 사이트를 만들 때마다 보통 2 개의 메뉴를 만듭니다. 1은 숨겨져 모바일 용으로 사용되며 다른 하나는 기본 메뉴로 표시되며 숨겨져 모바일 메뉴가 표시됩니다. SEO와 스파이더가 웹 사이트를 탐색 할 때마다 메뉴가 중복되어 뿌려 지는가? 이 메뉴가 모바일 용이며 이것이 메인임을 거미에게 알리기 위해 할 수있는 일이 있습니까? 두 …

16 seo  web-crawlers  googlebot  navigation 

현재 모든 비 HTTPS 연결을 HTTPS로 리디렉션하고 TLS v1, TLS v1.1 및 TLS v1.2를 지원합니다. 매우 제한적이고 안전한 암호 제품군 및 TLSv1.2 만 허용하도록 테스트 서버를 재구성했습니다. SSL Labs 테스트 를 실행했을 때 호환성 차트에 Bing과 Google 크롤러가 TLSv1 이상을 지원하지 않는 것으로 나타났습니다. 여전히 정확한가요? SSL Labs 결과 페이지를 …

12 seo  search-engines  https  googlebot  bingbot 

Google이 페이지의 일부를 색인 생성하지 못하게하는 것과 같은 코드를 보았습니다. <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> 이 작동합니까?

12 search-engine-indexing  googlebot 

내 고객 중 한 명이 계정에 로그인 한 후 몇 가지 조치를 수행합니다. 고유 토큰은 단순히 암호화 된 사용자 ID + 타임 스탬프입니다. 94.254.xxx.xxx--[02 / Jul / 2011 : 22 : 25 : 46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1"200410 "-" "Mozilla / 5.0 (호환; MSIE 9.0; …

12 google  search-engines  googlebot 

Google 웹 마스터 도구가 내 웹 사이트에서 차단 된 많은 리소스를보고하는 것으로 나타났습니다. 현재 모든 "차단 된 리소스"는 Cloudfront CDN에서 제공하는 .css, .js 및 이미지 (.jpg, .png)입니다. Google에서이 파일을 크롤링하지 않는 이유를 파악하고 "리소스 차단"상태를보고하는 데 많은 시간을 보냈습니다. 현재 나는 cdn1.example.com, cdn2.example.com과 같은 여러 호스트 이름에서이 파일들을 제공합니다.… cdn1, …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

많은 봇을 작성하고 사이트를 크롤링하는 엄청난 양의 임의 봇을 보았는데 웹 마스터로서 궁금합니다. 내 생각은 봇을 사이트에 허용하면 잠재적 인 트래픽이 발생할 수 있다는 것입니다. 실제 트래픽을 사이트로 전송하는 것으로 알려지지 않은 봇을 허용 할 이유가 있습니까? 이러한 "좋은"봇을 어떻게 발견합니까?

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

컨텍스트 : 여러 언어 버전으로 제공되는 웹 사이트가 있습니다. 그러나 내용은 동일합니다. 번역 된 각 사이트 버전은 별도의 하위 도메인에서 사용할 수 있습니다. 일부 페이지에서는 <link rel="canonical" />필요한 경우 동일한 페이지의 동일한 언어로 정식 버전을 가리키는 데 사용 합니다. 이것은 기본 정규화 항목이며,이 경우 태그 순서입니다. 문제는 <link rel="canonical" />정규화를위한 …

11 seo  google  googlebot  internationalization 

오늘 SEO 뉴스 에서이 기사 를 살펴 보았습니다 . robots.txtNoindex: 의 표준 Disallow:지시문 외에도 지시문 을 사용할 수 있음을 의미합니다 . Disallow: /page-one.html Noindex: /page-two.html 검색 엔진이 페이지 1을 크롤링하지 못하게하고 페이지 2를 색인 생성하지 못하게하는 것처럼 보입니다. 이 robots.txt 지정 문은 Google 및 기타 검색 엔진에서 지원됩니까? 작동합니까? 문서화되어 …

10 web-crawlers  robots.txt  googlebot  noindex 

POST 양식 (내 경우에는 선택 상자) 뒤에 콘텐츠가있는 경우 Googlebot 또는 다른 검색 엔진 스파이더가 해당 폼 뒤에있는 콘텐츠를 크롤링 할 수 있습니까? 예를 들어, 한 페이지에 4 개의 번역이 있고 언어 선택이 동일한 URL에 대한 POST 양식 인 경우 언어 별 URL로 리디렉션 된 경우 Googlebot이 "다른"언어를 크롤링 할 …

10 seo  googlebot  forms  multilingual 

학교 폴더의 디렉토리에 몇 개의 개인 파일이 있습니다. myschool.edu/myusername/myfolder로 이동하면 파일이 존재하지만 myschool.edu/myusername/myfolder/myfile.html을 통해 파일 자체에 액세스하려고하면 403 오류가 반환됩니다. 그러나 Google은 어떻게 든 개인 파일의 내용을 가져 와서 캐시에 저장했습니다! 이것이 어떻게 가능한지? [그 이후로 해당 파일을 제거 했으므로 Google에서이 작업을 어떻게 수행했는지 궁금합니다.]

10 web-crawlers  security  googlebot 

이제 Google은 AJAX 크롤링 체계를 더 이상 사용하지 않습니다 . 그들은 구글 봇이 이제 동적 콘텐츠를 보는 데 아무런 문제가 없기 때문에 더 이상 필요하지 않기 때문에 새로운 웹 사이트에서이를 구현하지 않아도된다고 말합니다. 이 진술을 즉시 신뢰해야합니까, 더 이상 사용되지 않는 표준을 준수하는 것이 더 낫습니까?

9 seo  web-crawlers  googlebot  ajax