Joomla Unknown Bots를 차단하는 방법

9

Joomla 3.3.6 사이트의 대역폭을 너무 많이 차지하는 알려지지 않은 봇을 어떻게 차단할 수 있습니까? Yahoo, Google 및 MSN 봇을 차단하고 싶지 않으며 다른 사람 만 차단하고 싶습니다. 최근의 awstat를 확인했습니다. 오늘날 약 10,720 + 265 개의 히트가 알려지지 않은 봇에 의해 발생하며 약 1GB의 대역폭을 소비합니다.

긍정적 인 해결책을 기대하고 있습니다.

joomla-3.3.x

— Naeem
소스

7

Yahoo, Google 및 MSN 봇만 User-agent자산을 사용하여 사이트를 크롤링하도록 허용 할 수 있습니다 . Disallow:허용 된 크롤러를 비워 두십시오 .

Slurp는 Yahoo의 봇입니다.

예를 들면 다음과 같습니다.

User-agent: Googlebot
Disallow: /administrator
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
User-agent: googlebot-image
 Disallow: /administrator
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/ 
User-agent: googlebot-mobile
Disallow: /administrator
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/ 
User-agent: MSNBot
Disallow: /administrator
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/ 
User-agent: Slurp
Disallow: /administrator
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/ 
User-agent: yahoo-mmcrawler
Disallow: /administrator
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
User-agent: psbot
Disallow: /administrator
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
User-agent: yahoo-blogs/v3.9
Disallow: /administrator
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/ 
User-agent: *
Disallow: /
Disallow: /administrator
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

— 즈카 노카
소스

정말 감사합니다. .htaccess 파일을 통해 어떻게 할 수 있습니까? 업데이트 된 불량 봇 목록이 있습니까?

— Naeem

루트 디렉토리에 텍스트 파일 robots.txt를 작성하십시오. Joomla는 이미 하나를 가지고 있습니다. 당신은 살펴볼 수 있습니다.

— zkanoca

나는 이것에 대한 robots.txt 파일을 갖는 것이 항상 좋다고 생각합니다. 그런 다음 ip 또는 사용자 에이전트에 의해 차단되지 않는 봇의 경우 in.htaccess

— tristanbailey

4

@Nikosdion의 Master Htaccess 에서이 스 니펫을 사용하여 알려진 여러 나쁜 봇을 차단할 수 있습니다 .

########## Begin - Common hacking tools and bandwidth hoggers block
## By SigSiu.net and @nikosdion.
# This line also disables Akeeba Remote Control 2.5 and earlier
SetEnvIf user-agent "Indy Library" stayout=1
# WARNING: Disabling wget will also block the most common method for
# running CRON jobs. Remove if you have issues with CRON jobs.
SetEnvIf user-agent "Wget" stayout=1
# The following rules are for bandwidth-hogging download tools
SetEnvIf user-agent "libwww-perl" stayout=1
SetEnvIf user-agent "Download Demon" stayout=1
SetEnvIf user-agent "GetRight" stayout=1
SetEnvIf user-agent "GetWeb!" stayout=1
SetEnvIf user-agent "Go!Zilla" stayout=1
SetEnvIf user-agent "Go-Ahead-Got-It" stayout=1
SetEnvIf user-agent "GrabNet" stayout=1
SetEnvIf user-agent "TurnitinBot" stayout=1
# This line denies access to all of the above tools
deny from env=stayout
########## End - Common hacking tools and bandwidth hoggers block

— 세스 워버튼
소스

1

Incapsula와 같은 CDN 공격 검색 서비스 중 하나를 볼 수도 있습니다. 그것은 당신의 DNS를 변경하는 것을 의미하지만, 그들은 그들의 화면에 로그인하고 개별 공격과 봇을 차단하거나 허용 할 수있는 좋은 화면과 Joomla 지원을 가지고 있습니다. JCE 및 유사한 http://www.incapsula.com/?src=6&subelm=holdingbay.co.uk 와 같은 업데이트 된 공격 목록이있는 것 같습니다 .

— 트리스탄 베일리
소스