Googlebot은 인증 된 사용자에게만 보이는 URL을 어떻게 찾습니까?

내 고객 중 한 명이 계정에 로그인 한 후 몇 가지 조치를 수행합니다. 고유 토큰은 단순히 암호화 된 사용자 ID + 타임 스탬프입니다.

94.254.xxx.xxx--[02 / Jul / 2011 : 22 : 25 : 46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1"200410 "-" "Mozilla / 5.0 (호환; MSIE 9.0; Windows NT 6.1; Trident / 5.0) "

이제 Googlebot은 어떻게 든이 고유 한 링크를 발견하고 일주일 후에 정확히 동일한 URL에 액세스하려고했습니다.

66.249.71.179--[10 / Jul / 2011 : 09 : 56 : 01 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1"302- "-" "Mozilla / 5.0 (호환; Googlebot / 2.1; + http : //www.google.com/bot.html) "

(토큰이 만료되어 상태 코드는 302 임)

이 URL은 사용자가 클릭하여 해당 페이지를 방문하기 전에 2 초 동안 정확히 한 번만 표시되는 고유 한 URL임을 강조하겠습니다. 이메일로 보내지 않았거나 공개적으로 어디에도 게시되지 않았습니다.

여기서 무슨 일이 일어나고 있습니까? Google이이 고유 한 URL을 어떻게 찾을 수 있습니까?

확실히 말하기는 어렵지만 시나리오는 다음과 같습니다.

• 사용자는 Google에 방문한 URL을보고하는 브라우저 툴바 또는 확장 프로그램을 설치했습니다.

• 해당 URL에 연결된 누군가가 Google은 해당 링크가있는 페이지를 크롤링하여 URL을 찾았습니다.

방금 사용자 가이 인증 된 페이지에서 아웃 바운드 링크를 찾은 다음 Referer다른 웹 사이트를 클릭 할 때 와 같이 개인 URL을 유출했음을 깨달았습니다 . 이것은 유일하게 가능한 설명이며, 처음부터 분명했습니다.

유출 된 개인 URL은 여러 가지 방법으로 Google에 노출 될 수 있습니다. 예를 들어 대상 사이트가 액세스 로그를 공개적으로 게시했을 수 있습니다. 참고 : Google 웹 로그 분석을 사용하는 발신 링크가 없으므로 Googlebot이 웹 로그 분석의 참조 URL을 사용하고있는 것은 아닙니다.

재 학습 : https를 사용하지 않는 한 민감한 데이터를 URL에 절대 넣지 마십시오. 이 경우 브라우저는 Referer비어 있습니다.