존재하지 않는 URL로 대규모 404 공격. 이것을 방지하는 방법?

문제는 Google 웹 마스터 도구에서보고 한 바와 같이 페이지와 쿼리가없는 404 오류의 전체로드입니다. 그 중 하나 viewtopic.php는입니다. 또한 사이트가 WordPress 사이트 ( wp_admin)인지 cPanel 로그인 인지 확인하려는 무서운 시도가 있음을 알게 되었습니다. TRACE를 이미 차단했으며 서버에는 검색 / 해킹에 대한 방어 기능이 있습니다. 그러나 이것은 멈추지 않는 것 같습니다. 레퍼러, 구글 웹 마스터에 따르면, totally.me.

SEO 문제는 물론 실제 실제 사용자에게는 좋지 않기 때문에 이것을 막을 수있는 솔루션을 찾았습니다.

Perishable Press mini black list ( here ), 표준 리퍼러 차단기 (포르노, 허브, 카지노 사이트 용) 및 사이트를 보호하기위한 일부 소프트웨어 (XSS 차단, SQL 주입 등)를 사용하고 있습니다. 서버는 다른 방법도 사용하고 있으므로 사이트가 안전하다고 생각하지만 끝나지 않습니다.

다른 사람이 같은 문제가 있습니까, 아니면 이것을 보는 유일한 사람입니까? 내가 생각하는 것, 즉 일종의 공격입니까? 쓸모없는 리소스 낭비를 예방하거나 개선하는 방법이 있습니까?

편집 나는 대답을 고맙게 생각하기 위해 질문을 사용하지 않았으며, 이것이 이루어질 수 있기를 바랍니다. 통찰력있는 답장을 보내 주셔서 감사합니다.이 문제를 해결하는 데 도움이되었습니다. 나는 모든 사람들의 제안을 따르고 다음을 구현했습니다.

• 허니팟
• 404 페이지에서 의심스러운 URL을 듣고 표준 404 헤더를 반환하면서 사용자 에이전트 / ip와 함께 이메일을 보내는 스크립트
• 동일한 404 사용자 정의 페이지에서 해당 URL 중 하나를 클릭하면 합법적 인 사용자에게 보상하는 스크립트입니다. 24 시간도 채되지 않아 모든 의심스러운 IP를 분리 할 수 ​​있었으며 모두 Spamhaus에 등재되었습니다. 지금까지 기록 된 모든 IP는 스팸 VPS 호스팅 회사에 속합니다.

다시 한 번 감사드립니다. 가능하다면 모든 답변을 수락했을 것입니다.

내 사이트에 존재하지 않는 수많은 페이지로 연결되는 다른 사이트가 종종 있습니다. 해당 페이지를 클릭하고 링크가 보이지 않더라도 :

• 사이트에 이전에 해당 링크가 있었을 수 있습니다
• 사이트가 클로킹되어 방문자가 아닌 Googlebot에만 해당 링크를 제공하고있을 수 있습니다.

리소스 낭비이지만 Google을 혼동하지 않으며 순위를 해치지 않습니다. 다음은 웹 마스터 도구 및 사이트 맵에서 작업하는 Google의 John Mueller 가 웹 마스터 도구에 나타나는 404 오류에 대해 말한 내용입니다 .

도움! 내 사이트에 939 개의 크롤링 오류가 있습니다 !! 1

나는 이런 종류의 질문을 일주일에 여러 번 본다 당신은 혼자가 아닙니다-많은 웹 사이트에 크롤링 오류가 있습니다.

1. 잘못된 URL의 404 오류는 사이트의 색인 생성이나 순위 에 영향을 미치지 않습니다 . 1 억 또는 1 천만 개가 있는지는 중요하지 않으며 사이트 순위에 영향을주지 않습니다. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. 경우에 따라 크롤링 오류는 웹 사이트 또는 CMS 내의 합법적 인 구조적 문제로 인해 발생할 수 있습니다. 당신은 어떻게 말합니까? 크롤링 오류의 출처를 다시 확인하십시오. 사이트, 페이지의 정적 HTML에 링크가 끊어지면 항상 수정 가치가 있습니다. (감사 + Martino Mosna )
3. '분명히 깨진'펑키 URL은 어떻습니까? 귀하의 사이트와 같은 Google 알고리즘이 JavaScript에서 새 URL을 검색하는 등 더 훌륭한 콘텐츠를 찾으려고 시도 할 수 있습니다. 이 "URL"을 시도하고 404를 찾으면 훌륭하고 기대됩니다. 우리는 중요한 것을 놓치고 싶지 않습니다 (과도하게 연결된 Googlebot meme을 여기에 삽입하십시오). http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. 웹 마스터 도구에서 크롤링 오류를 수정할 필요가 없습니다. "고정 된 것으로 표시"기능은 진행 상황을 추적하려는 경우에만 도움이됩니다. 웹 검색 파이프 라인의 내용은 변경되지 않으므로 필요하지 않은 경우 무시하십시오. http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. 웹 마스터 도구의 크롤링 오류는 우선 순위별로 나열되며 여러 가지 요소를 기반으로합니다. 크롤링 오류의 첫 페이지가 명확하지 않은 경우 추가 페이지에서 크롤링 오류가 발생하지 않을 수 있습니다. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. 웹 사이트에서 크롤링 오류를 "수정"할 필요는 없습니다. 404를 찾는 것은 정상이며 건강하고 잘 구성된 웹 사이트에서 기대됩니다. 동등한 새 URL이있는 경우 해당 URL로 리디렉션하는 것이 좋습니다. 그렇지 않으면 허위 콘텐츠를 만들거나 홈페이지로 리디렉션해서는 안되며 robots.txt에서 URL을 허용해서는 안됩니다. 이러한 모든 것들 때문에 사이트 구조를 인식하고 제대로 처리하기가 더 어려워집니다. 우리는 이러한“소프트 404”오류를 부릅니다. http://support.google.com/webmasters/bin/answer.py?answer=181708
7. 분명히-크롤링 오류가 관심있는 URL (예 : Sitemap 파일의 URL)에 표시되는 경우 즉시 조치를 취해야합니다. Googlebot이 중요한 URL을 크롤링 할 수없는 경우 Google 검색 결과에서 삭제 될 수 있으며 사용자가 해당 URL에 액세스하지 못할 수도 있습니다.

다양한 종류의 소프트웨어에 알려진 취약점을 찾기 위해 인터넷에서 무작위 IP 주소를 낙관적으로 스캔하는 수많은 스크립트가 있습니다. 99.99 %의 시간 동안 (사이트에서와 같이) 아무것도 발견하지 못하고 0.01 %의 시간 동안 스크립트가 기계를 챙겨서 스크립트 컨트롤러가 원하는대로 수행합니다. 일반적으로 이러한 스크립트는 원래 스크립트 키디의 실제 시스템이 아닌 이전에 소유 한 시스템의 익명 봇넷에 의해 실행됩니다.

어떻게해야합니까?

1. 사이트가 취약하지 않은지 확인하십시오. 이를 위해서는 끊임없는 경계가 필요합니다.
2. 로드가 너무 많아 정상적인 사이트 성능에 영향을주는 경우 특정 사이트의 연결을 허용하지 않도록 IP 기반 차단 규칙을 추가하십시오.
3. 서버 로그를 살펴볼 때 CMD.EXE 또는 cPanel 또는 phpMyAdmin 또는 수많은 다른 취약점에 대한 스캔을 필터링하는 방법을 배웁니다.

귀하는 귀하의 서버에서 다른 사람에게 반환 된 404가 귀하의 사이트에 대한 Google의 생각에 영향을 줄 것으로 생각합니다. 사실이 아닙니다. Google 크롤러 및 아마도 Chrome 사용자가 반환 한 404 만 사이트에 영향을줍니다. 사이트의 모든 링크가 올바른 링크이고 이전에 노출 된 링크를 무효화하지 않는 한 아무런 영향을 미치지 않습니다. 스크립트 봇은 어떤 식 으로든 Google과 대화하지 않습니다.

실제적인 방법으로 공격을 받고 있다면 일종의 DoS 완화 공급자 서비스에 가입해야합니다. Verisign, Neustar, CloudFlare 및 Prolexic은 단순한 웹 프록시 (일부 제공 업체로부터 무료로 제공 될 수 있음)에서부터 DNS 기반 주문형 필터링, 전체 BGP에 이르기까지 다양한 종류의 공격에 대한 다양한 계획을 가진 공급 업체입니다. 공격을 완화시키는 규칙을 사용하여 "스크러빙"데이터 센터를 통해 모든 트래픽을 전송하는 기반의 PSP (point-of-presence) 스윙.

그러나 그것은 당신이 말한 것에서 들리 겠지만, 인터넷의 모든 IP가 포트 80에서 수신 대기 중인지 볼 수있는 일반적인 취약성 스크립트를보고 있다는 것입니다. 문자 그대로 새 컴퓨터를 설치하고 빈 Apache를 시작할 수 있습니다. 몇 시간 안에 액세스 로그에 해당 줄이 표시되기 시작합니다.

이것은 실제로 공격이 아니라 스캔 또는 프로브입니다.

스캐너 / 프로 버에 따라 양성일 수 있습니다. 즉, 일부 유형의 연구 용량에서 문제를 찾고 있거나 개구부를 발견하면 자동으로 공격하는 기능이있을 수 있습니다.

웹 브라우저는 유효한 리퍼러 정보를 제공하지만 다른 프로그램은 원하는 리퍼러를 구성 할 수 있습니다.

리퍼러는 단순히 웹 사이트에 액세스하는 프로그램에서 선택적으로 제공하는 정보입니다. totally.me또는 로 설정하도록 선택한 모든 것이 될 수 있습니다 random.yu. 방금 선택한 실제 웹 사이트 일 수도 있습니다.

실제로이 문제를 해결하거나 예방할 수는 없습니다. 이 유형의 모든 요청을 차단하려고하면 매우 큰 목록을 유지해야하며 그만한 가치가 없습니다.

호스트가 패치를 유지하고 취약점을 방지하는 한 실제 문제를 일으키지 않아야합니다.

실제로 봇 열풍처럼 들립니다. 많은 호스트에 걸쳐 수천 개의 IP가 사이트 운영에 알려지지 않았을 가능성도 있습니다. 유용한 솔루션을 제공하기 전에 한 가지 질문은 다음과 같습니다.

Q : 사이트 전체에서 Google 웹 마스터 도구에 404가 어떻게 표시됩니까? GWT는 다른 봇의 결과가 아니라 Googlebots 결과의 결과입니다. 또한 다른 봇은 분석을 위해 JS를 실행하지 않습니다 ... 서버 통계를 볼 수있는 GWT로가는 API가 있습니까? 그렇지 않으면 Googlebot 자체가 오류를 발견하기 때문에 경보가 발생할 수 있습니다.

• 이것이 단지 Googlebot 오류 인 경우 누군가가 포럼에 사이트에 대한 링크를 설치했거나 악성 실제 인간 PC 봇이 대상을 공격하는 대상에 대한 링크를 설치했음을 나타낼 수 있습니다. 악용 된 서버에서 실행중인 harverstor + planter를 생각하여 포털을 통한 향후 "스팸 계약"을위한 많은 대상을 설정하십시오.

• 실제로 전체 서버 통계를보고한다는 사실을 알고 있다면 몇 가지 도구가 필요합니다. 일부 앱과 서비스가이를 정리하는 데 도움이 될 수 있습니다. 리눅스 서버를 운영한다고 가정하자 :

1) 잘못된 IP를 htaccess 블랙리스트에 추가하십시오. "192.168.1.1의 거부"처럼 보이며 403은 금지합니다. 도망 치지 말고 biggen을 막으십시오. 4) 단계에서 사이트와 대조하여 실제 ISP가 아닌지 확인하십시오. 이 파일을 복사하여 방화벽을 넘어서도 모든 계정 / 앱에 붙여 넣을 수 있습니다.

2) APF를 설치하십시오. 리눅스에서 SSH를 통해 방화벽을 관리하기가 정말 쉽습니다. ht를 빌드 할 때 "apf -d 192.168.1.1"과 같이 APF에 추가하십시오. Ht는 APF로 인해 중복되는 것처럼 보이지만 Ht는 이식 가능합니다.

3) cPanel Hulk를 설치하고 패스를 잊어 버린 경우 IP가 잠기지 않도록 IP를 허용 목록에 추가하십시오. 이것은 또한 ht + apf에 추가 할 훌륭한 IP 소스가 될 것입니다. 그것에는 똑똑한 것이 있으므로 무차별 대입 로그인 시도를 지능적으로 완화시킬 수 있습니다.

4) stopforumspam.com 및 projecthoneypot.org에 연결하여 모듈을 실행하십시오. 둘 다 알려진 요청을 거부하고 새로운 무차별 / 넷 / 차이나 스팸을 식별하고보고하는 데 도움이됩니다. 이메일 필터도 사용할 수 있지만 스팸 필터와 관련하여 gmail이이를 소유하고 있습니다.

5) 봇은 절대 포기하지 않으므로 관리자 경로를 보호하십시오. wordpress를 실행하는 경우 관리 경로를 변경하고 보안 문자를 추가하십시오. SSH를 사용하는 경우 로그인 포트를 사용하지 않는 것으로 변경 한 다음 SSH 루트 로그인을 끄십시오. "radmin"을 작성하고 먼저 로그인 한 다음 su를 루트로 지정하십시오.

• 보안 문자에 대한 참고 사항은 대용량 사이트에서 자체 보안 문자를 실행하고 방화벽 / ht 수준에서 봇 열풍을 부정하지 않으면 모든 "스팸 방지"위젯에서 이미지 생성으로 인해 CPU주기가 손상 될 수 있습니다.

• 로드에 대한 참고 사항, 서버에서 CentOS를 실행하고 VPS 기능이있는 경우 CloudLinux는 강화 및로드 제어에 환상적입니다. 봇이 통과한다고 가정하면 CageFS가 계정으로 제한합니다. 그들이 DDoS로 결정했다고 가정 해 봅시다 .... LVE는 서버에 충돌을 일으키지 않도록 계정 (사이트)로드를 유지하기 위해 존재합니다. "실질적인 엔티티 관리"의 전체 시스템을 강조하는 좋은 추가 기능 :)

그냥 몇 가지 생각, 나는 그것이 당신을 도울 희망

문제 설명

우선, 당신은이 문제를 가진 유일한 사람이 아닙니다-모두입니다. 당신이 본 것은 자동화 된 봇이 모든 IP를 크롤링하고 일반적인 취약점을 찾은 결과입니다. 그래서 그들은 기본적으로 사용중인 것을 찾으려고 노력하고 phpmyadmin을 사용하면 나중에 표준 사용자 이름 암호 조합을 시도합니다.

나는 당신이 지금 찾은 이런 종류의 일에 놀랐습니다 (당신은 당신이 서버를 방금 시작했을 수도 있습니다). 문제는 IP 주소를 영원히 차단할 수 없다는 것입니다 (대부분 이것이 감염된 컴퓨터이며 실제 사용자가 수행중인 작업을 알지 못하고 그러한 IP가 많이 있음).

SEO 효과

전혀 효과가 없습니다. 그것은 누군가가 당신의 컴퓨터에서 무언가에 접근하려고 시도했지만 거기에 없었 음을 의미합니다.

정말 중요합니까?

물론,이 사람들은 몇 가지 문제에 대해 조사하려고합니다. 또한 그들은 당신의 자원을 낭비하고 (서버는 어떤 식 으로든 반응해야 함) 로그 파일을 오염시킵니다.

어떻게 고쳐야합니까

나는 내가 고치려고했던 것과 같은 문제가 있었고 가장 좋은 도구 (사용하기 간단 함과 내가 할 수있는 것)는 내가 찾을 수 있었다 fail2ban

이미 동일한 문제를 해결하는 방법을 찾았고 여기에 문서화했기 때문에 운이 좋았습니다. 따라서 설치 방법 및 작동 방법을 찾을 필요가 없습니다. ServerFault에서 내 질문을 확인하십시오 . 그러나 호가 작동한다는 것을 알기 위해 fail2ban에 대해 조금 읽어보십시오.

많은 사람들이 이미 말했듯이, 이것은 공격이 아니라 사이트 앱 및 / 또는 서버 기능을 조사하거나 스캔하려는 시도입니다. 이러한 쓸모없는 트래픽과 잠재적으로 위험한 스캔을 모두 필터링하는 가장 좋은 방법은 WAF (Web Application Firewall)를 구현하는 것입니다. 이것은 모든 다른 시도를 포착하고 플래그를 지정한 다음 서버와 웹 앱에 실제 합법적 인 깨끗한 트래픽을 보냅니다.

클라우드 기반 DNS WAF 또는 전용 장치를 사용할 수 있습니다. 저는 개인적으로 다른 클라이언트 사이트에 Incapsula 및 F5 ASM을 사용합니다. 한 달에 500 달러 정도의 비용이 들며 엄청난 도움이됩니다. 또한 클라이언트를보다 효과적으로 보호하고 웹 서버 자체의 리소스를 줄여 비용을 절감하고 속도를 높일뿐만 아니라 PCI 6.6 준수 및 보고서 검토 기능을 제공합니다.

도움이 되었기를 바랍니다.