먼저 모든 전문 웹 마스터에게 큰 사과를 드리겠습니다.하지만 이번 OP에는 한 가지 중요한 제안이 있습니다.
검색 엔진 가이드 라인 위반
그리고 중요한 콘텐츠가 복잡한 자바 스크립트에 있고 크롤링 할 수있는 콘텐츠 로봇이 적절한 HTML이 아닌 지점까지 수행해야합니다. 여기에는 잘못된 설명 태그, 잘못된 제목 태그 등이 포함됩니다. 전체 컨텐츠를 플래시로 만든 비디오로 바꾸거나 전체 컨텐츠를 하나의 이미지로 표시 할 수 있습니다. 그것은 실제로 검색 엔진 크롤러를 위험하게 할 것입니다.
코드로 예제를 보여 드리겠습니다.
색인을 생성하는 방법은 다음과 같습니다.
<!DOCTYPE html>
<html>
<head>
<title>Web page</title>
<meta name="description" content="This is a wonderful web page">
</head>
<body>
<h1>A wonderful web page</h1>
<h2>By John Smith</h2>
<p>This is a wonderful page. ya de ya de ya de ya de ya de ya de</p>
<p>This is wonderful. ya de ya de ya de ya de ya de ya de</p>
</body>
</html>
좋아, 나는 텍스트가 완벽하지 않다는 것을 인정하지만, 당신은 내 말의 의미를 이해한다.
이제 크롤러에서 숨기고 간단한 방법으로 수행하려면 다음을 시도하십시오.
<!DOCTYPE html>
<html>
<head>
<title>Private</title>
</head>
<body>
<img src="mywebsite.jpg" width=1024 height=768>
</body>
</html>
그런 다음 mywebsite.jpg라는 이미지를 만들고 위에 표시된 html이 아닌 모든 텍스트를 포함시킵니다. 그런 다음 실제 내용을 볼 수있는 권한이없는 사용자에게 워터 마크 버전을 만들어 mywebsite.jpg를 보호해야합니다. 사용자 에이전트 문자열 또는 IP 주소를 이미지에 대해 허용 / 금지하는 것과 비교하십시오. 이 유형의 작업은 .htaccess에서 일부 다시 쓰기 규칙으로 수행 할 수 있습니다.
예를 들어 googlebot이 실제 이미지 대신 워터 마크 이미지를 보게하려면 다음 규칙을 사용하십시오.
RewriteCond %{HTTP_USER_AGENT} ^googlebot$ [NC]
RewriteRule ^mywebsite.jpg$ specialrobotimage.jpg [L]
여기서 mywebsite.jpg는 이미지로 실제 웹 사이트이고 specialrobotimage.jpg는 실제 사용자 만 정보를 볼 수 있다는 메시지로 워터 마크 또는 이미지라고 가정합니다. 또한 규칙은 모든 것이 동일한 폴더에 있다고 가정합니다.