로봇이 페이지의 특정 부분을 크롤링하지 못하도록 방지

포럼이있는 소규모 사이트를 담당하는 웹 마스터로서 정기적으로 사용자로부터 내부 검색 엔진과 외부 검색 (Google을 사용할 때와 같은)이 모두 사용자의 서명 (오래 사용하고 있음)에 의해 오염된다는 불만을받습니다. 서명은 내 포럼에서 의미가 있기 때문에 포럼 경험의 일부입니다.

기본적으로 현재 두 가지 옵션이 있습니다.

1. 서명을 그림으로 렌더링하고 사용자가 "서명 그림"을 클릭하면 서명이 포함 된 실제 서명이 포함 된 페이지로 이동하고 해당 페이지는 검색을 통해 크롤링 할 수없는 것으로 설정됩니다 엔진 거미). 이것은 그림을 생성하는 HTML 렌더러가 필요하기 때문에 약간의 대역폭을 소비하고 약간의 작업이 필요하지만 분명히 문제를 해결할 것입니다 (서명이 글꼴 / 색 구성표를 존중하지 않기 때문에 작은 문제가 있습니다) 사용자는하지만 사용자는 어쨌든 사용자 정의 글꼴 / 색상 / 크기 등을 사용하여 서명으로 독창적이므로 그다지 문제가되지 않습니다).

2. 서명이 포함 된 웹 페이지의 모든 부분을 크롤링 할 수없는 것으로 표시합니다.

그러나 나는 나중에 확실하지 않습니다 : 이것이 할 수있는 일입니까? 웹 페이지의 특정 부분을 크롤링 할 수없는 것으로 표시 할 수 있습니까?

다음은 스택 오버플로 에서 Google 에 noindex 태그에 제공 한 것과 동일한 답변입니다 .

robots.txt에 의해 차단 된 iframe에 해당 부분을 넣어 Google이 페이지의 일부를 보지 못하게 할 수 있습니다.

robots.txt

Disallow: /iframes/

index.html

This text is crawlable, but now you'll see 
text that search engines can't see:
<iframe src="/iframes/hidden.html" width="100%" height=300 scrolling=no>

/iframes/hidden.html

Search engines cannot see this text.

iframe을 사용하는 대신 AJAX를 사용하여 숨겨진 파일의 내용을로드 할 수 있습니다. 다음은 jquery ajax를 사용하는 예제입니다.

his text is crawlable, but now you'll see 
text that search engines can't see:
<div id="hidden"></div>
<script>
    $.get(
        "/iframes/hidden.html",
        function(data){$('#hidden').html(data)},
    );
</script>

또 다른 해결책은 스타일이 설정된 범위 또는 div에서 시그를 래핑 display:none한 다음 Javascript를 사용하여 Javascript를 사용하는 브라우저의 텍스트가 표시되도록하는 것입니다. 검색 엔진은 표시되지 않을 것이므로 색인을 생성해서는 안됩니다.

이 HTML, CSS 및 자바 스크립트는 다음과 같이해야합니다.

HTML :

<span class="sig">signature goes here</span>

CSS :

.sig {
display:none;
}

자바 스크립트 :

<script type="text/javascript"> 
$(document).ready(function()
  {
      $(".sig").show();
  }
</script>

jquery 라이브러리 를 포함해야합니다 .

비슷한 문제가 있었고 CSS로 해결했지만 자바 스크립트와 jquery로도 수행 할 수 있습니다.

1- " disallowed-for-crawlers" 라고 부르는 클래스를 만들고 Google 봇이보고 싶지 않은 모든 것에 해당 클래스를 배치하거나 해당 클래스와 함께 범위 내에 배치합니다.

2-페이지의 기본 CSS에는 다음과 같은 내용이 있습니다.

.disallowed-for-crawlers {
    display:none;
}

3- disallow.css라는 CSS 파일을 생성하고이를 robots.txt에 추가하여 크롤링 할 수 없도록하므로 크롤러는 해당 파일에 액세스 할 수 없지만 기본 CSS 뒤에 페이지에 대한 참조로 추가하십시오.

4-에서 disallow.css나는 코드를 넣었다.

.disallowed-for-crawlers {
    display:block !important;
}

당신은 자바 스크립트 또는 CSS로 재생할 수 있습니다. 방금 disallow와 CSS 클래스를 이용했습니다. :) 누군가에게 도움이되기를 바랍니다.

이를 수행하는 한 가지 방법은 일반 텍스트 대신 텍스트 이미지 를 사용하는 것입니다.

구글은 결국 이미지에서 텍스트를 읽을 수있을만큼 똑똑 할 수있다. 따라서 미래를 보장 할 수는 없지만 적어도 한동안은 잘 작동 할 것이다.

이 접근법에는 많은 단점이 있습니다. 시각 장애가있는 사람은 나쁘다. 콘텐츠를 모바일 장치와 데스크톱 컴퓨터에 맞추려면 좋지 않습니다. (등등)

그러나 현재 (어떤) 작동하는 방법입니다.

이것은 쉽다.

페이지를 서비스하기 전에 봇, 컴퓨터 또는 전화 중 어느 페이지인지 알아야합니다. 그런 다음 그에 따라 내용을 설정해야합니다. 이것은 오늘날의 표준 관행이며 일부 CMS의 핵심 기능입니다.

htaccess에 넣을 수있는 USER AGENT를 기반으로 리디렉션을 수행하기위한 많은 솔루션이 SE에 있습니다. 이것이 포럼 소프트웨어에 적합한 경우 동일한 DB에서 다른 코드를 실행하여 틈새 및 다듬기없이 Google에 필요한 것을 제공 할 수 있습니다.

또는 'USER AGENT == Googlebot이면 서명을 표시하지 않습니다'를 수행하는 PHP 코드에 작은 줄을 넣을 수 있습니다.

실제로 그렇게 할 수 없다면 mod_proxy가 봇에 제공하고 봇이 볼 필요가없는 PHP 코드가 생성하는 것을 제거하는 데 사용할 수 있습니다.

기술적으로 Google은 검색 엔진이 일반 사이트 방문자에게 표시되는 것과 다른 페이지로 표시되는 것을 승인하지 않지만 현재까지 검색 엔진 결과에서 브라우저 / IP / 방문자 별 콘텐츠를 제공하는 BBC 및 기타 사이트를 가져 오지 않았습니다. . 그들은 또한 그들의 봇이 '코닝 (conned)'되었는지를 알 수있는 수단이 제한되어 있습니다.

스크립트로 다시 활성화 할 수 있도록 CSS로 컨텐츠를 숨기는 대체 솔루션도 약간 회색입니다. 20/6/11의 자체 웹 마스터 도구 가이드 라인에 따르면 이는 좋은 생각이 아닙니다.

http://www.google.com/support/webmasters/bin/answer.py?answer=66353

그것은 석재로 주조 된 태블릿이 아닐 수도 있지만 최신 버전이며 Google에서 제공 한 것입니다.

콘텐츠 트릭 숨기기는 자바 스크립트가없는 소수의 사람들에게는 작동하지 않습니다. 큰 문제는 아니지만 문서가로드 될 때까지 기다렸다가 서명을 표시하는 것이 만족스러운 시청 환경이 아닙니다. 페이지가로드되었다고 생각하면 숨겨진 서명이 표시되면 내용을 페이지 아래로 밀어 넣습니다. 이 유형의 페이지로드는 로우 엔드 넷톱이있는 경우 자극적 일 수 있지만 빠른 인터넷 연결에 빠른 개발자 시스템이있는 경우 눈에 띄지 않을 수 있습니다.

아니요, 로봇이 페이지의 일부를 크롤링하는 것을 막을 방법이 없습니다. 전체 페이지이거나 아무것도 아닙니다.

Google 검색 결과의 스 니펫은 일반적으로 페이지 의 메타 설명 에서 가져옵니다 . 메타 설명 태그에이를 삽입하여 Google이 페이지의 특정 부분을 표시하도록 할 수 있습니다. 사용자 생성 콘텐츠를 사용하면 좋은 스 니펫을 얻는 것이 어렵지만 스레드의 첫 번째 게시물을 가져 오는 것이 좋습니다.

내가 생각할 수있는 유일한 다른 방법은 Javascript를 사용하는 것입니다. paulmorriss와 같은 제안 이 효과 가있을 수 있지만 검색 엔진이 HTML에 있으면 여전히 콘텐츠를 색인화한다고 생각합니다. HTML에서 HTML을 제거하고 Javascript 문자열에 저장 한 다음 페이지로드시 다시 추가 할 수 있습니다. 그래도 조금 복잡해집니다.

마지막으로 염두에 두어야 할 사항 : Google이 스 니펫에 사용자의 서명을 표시하는 경우 사용자의 검색어와 가장 관련성이 높은 부분을 결정했습니다.

"else"가 있으면 if 부분의 키를 제공하는 보안 문자로 연결되는 경우 페이지를 PHP에 넣을 수 있습니다.

사용자 자격 증명이 내 페이지에서 일치하지 않으면 빈 페이지가 표시되거나 로그인 페이지로 보내지기 때문에 실제로 신경 쓰지 않습니다.

<?php
session_start();

if(empty($_SESSION['captcha']) or $_SESSION['captcha'] != $key){
    header("Location: captcha.php");
}

if(!empty($_SESSION['captcha']) and $_SESSION['captcha'] == $key){

"the page"

}
?>

$key 현재 날짜의 해시이거나 변경되는 값이므로 세션에 값을 추가하기에 충분하지 않습니다.

내가 지금 captcha를 가지고 있지 않기 때문에 예제 보안 문자를 추가하려면 의견을 작성하십시오.

분명히 <!-googleoff : all-> 및 <!-googleon : all-> 원하는 작업을 수행하십시오.

더 읽기 https://www.google.com/support/enterprise/static/gsa/docs/admin/70/gsa_doc_set/admin_crawl/preparing.html#1076243

https://perishablepress.com/tell-google-to-not-index-certain-parts-of-your-page/