«user-agent» 태그된 질문

우리는 과거에 야후의 (놀랍게도) 잘못 작성된 거미 와 관련하여 심각한 문제를 겪었고 , 그 결과 차단했습니다. Tumblr의 Marco Arment는 2009 년 8 월 31 일에 우리와 좌절감을 나누었습니다. [Yahoo 's Spider]는 EST 약 5:30 이후 초당 70-200 건의 요청으로 우리를 범람 시켰습니다. 나는 과거에 우리를 학대했던 그들의 "실험적인"크롤러들조차도 이와 같은 …

25 user-agent  bing  yahoo  web-crawlers 

Ask bot이 있는데,이 헤더를 설정합니다 : Mozilla/2.0 (compatible; Ask Jeeves/Teoma) 이것을 고려할 때 다음과 같은 질문이 있습니다. Goofy라는 웹 크롤러를 작성하는 경우 어떤 사용자 에이전트를 사용해야합니까? 차이점은 내가 넣으면이다 Mozilla/2.0나 Mozilla/5.0? 현재 표준을 준수하도록 사용자 에이전트를 형식화하는 방법에 대한 다른 제안은 환영합니다.

18 user-agent  web-crawlers 

내 통나무는 종종 동유럽과 중국 출신의 봇 방문객으로 가득합니다. 봇은 Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou 등으로 식별됩니다. 내 사이트에서이 봇을 차단해야합니까? 그 이유는 무엇입니까? 내 사이트로 유입되는 트래픽을 늘리는 데 합법적 인 목적은 무엇입니까? 그들 중 많은 사람들이 SEO입니다. 나는 내가보고 말을 적은 봇 이후 아무것도 큰 숫자에 도착 한 …

12 seo  web-crawlers  user-agent 

빈 User-agent를 어떻게 해석해야합니까? 사용자 지정 분석 코드가 있으며 해당 코드는 인적 트래픽 만 분석해야합니다. 휴먼 트래픽과 봇 트래픽을 나타내는 사용자 에이전트 작업 목록이 있지만 비어있는 사용자 에이전트에 문제가있는 것으로 나타났습니다. 그리고 빈 User-agent로 약 10 %의 많은 트래픽이 발생합니다. 또한 현재 로그를 분석하여 인적 트래픽 대 봇 트래픽 사용자 …

12 apache  analytics  http  user-agent  logging 

사용자 에이전트를 함께 나열한 다음 robots.txt 에 공통 규칙을 붙일 수 있습니까? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

11 web-crawlers  robots.txt  user-agent 

일반 브라우저의 사용자 에이전트에 'bot'또는 'crawl'이 포함되어 있습니까? 내 사이트의 사용자 에이전트가 봇에서 오는지 여부를 확인합니다. 그렇다면 로그인하지 않기 때문에 약간의 최적화를 수행 할 수 있습니다. (나는 내용을 전혀 바꾸지 않습니다) 30-40 개 이상의 봇에 대한 수표를 추가 한 후 추가하는 것에 지쳤습니다. 그래서 'bot'또는 'crawl'만 포함되어 있는지 확인하고 싶습니다. …

11 user-agent 

내 사이트의 Apache 액세스 로그 항목은 일반적으로 다음과 같습니다. 207.46.13.174--[31 / Oct / 2016 : 10 : 18 : 55 +0100] "GET / contact HTTP / 1.1"200256 "-" "Mozilla / 5.0 (호환; bingbot / 2.0; + http : // www .bing.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 거기에서 사용자 에이전트 …

10 joomla  user-agent  apache-log-files  botattack 

작은 웹 크롤러를 실행하고 사용할 사용자 에이전트를 결정해야했습니다. 크롤러 에이전트 및 Wikipedia 목록은 다음 형식을 제안합니다. examplebot/1.2 (+http://www.example.com/bot.html) 그러나 일부 봇은 URL 앞에 더하기 부호를 생략합니다. 그리고 나는 그것이 처음에 무엇을 의미하는지 궁금하지만 설명을 찾을 수 없었습니다. RFC 2616은 괄호 안의 모든 것을 주석으로 간주 하며 형식을 제한하지 않습니다. 그러나 …

10 web-crawlers  http  user-agent 

규정상의 이유로 자동으로 색인을 생성하거나 검색 할 수없는 사이트가 있습니다. 즉, 모든 로봇을 멀리하고 사이트를 스파이더 링하지 않아야합니다. 분명히 우리는 처음부터 모든 것을 허용하지 않는 robots.txt 파일을 가지고 있습니다. 그러나 robots.txt 파일을 관찰하는 것은 로봇이 잘하는 행동입니다. 최근에 로봇의 동작이 좋지 않은 문제가있었습니다. 몇 가지 사용자 에이전트 를 금지 하도록 …

9 apache  web-crawlers  user-agent