Stack Overflow가 커짐에 따라 IIS 로그를 면밀히 검토하여 문제가있는 HTTP 클라이언트 ( 불량 웹 스파이더 , 매 초마다 새로 고침을 설정하는 큰 페이지를 가진 사용자, 잘못 작성된 일회성 웹 스크레이퍼, 트릭) 와 같은 HTTP 클라이언트를 식별하기 시작했습니다. 페이지를 늘리려 고하는 사용자는 수 천 회 등을 계산합니다.
IIS 로그 파일을 가리킬 때 대부분의 이상과 이상을 식별하는 데 도움 이되는 몇 가지 LogParser 쿼리를 생각해 냈습니다 .
URL 별 최고 대역폭 사용량
SELECT top 50 DISTINCT
SUBSTR(TO_LOWERCASE(cs-uri-stem), 0, 55) AS Url,
Count(*) AS Hits,
AVG(sc-bytes) AS AvgBytes,
SUM(sc-bytes) as ServedBytes
FROM {filename}
GROUP BY Url
HAVING Hits >= 20
ORDER BY ServedBytes DESC
url 조회수 평균 제공 -------------------------------------------------- ---- ------- ------- /favicon.ico 16774522 8756028 /content/img/search.png 15342446 6842532
URL 별 인기 조회
SELECT TOP 100
cs-uri-stem as Url,
COUNT(cs-uri-stem) AS Hits
FROM {filename}
GROUP BY cs-uri-stem
ORDER BY COUNT(cs-uri-stem) DESC
URL 조회수 -------------------------------------------------- ---- /content/img/sf/vote-arrow-down.png 14076 /content/img/sf/vote-arrow-up.png 14018
IP / 사용자 에이전트 별 최고 대역폭 및 히트
SELECT TOP 30
c-ip as Client,
SUBSTR(cs(User-Agent), 0, 70) as Agent,
Sum(sc-bytes) AS TotalBytes,
Count(*) as Hits
FROM {filename}
group by c-ip, cs(User-Agent)
ORDER BY TotalBytes desc
클라이언트 사용자 에이전트 totbytes 적중 ------------- ------------------------------------- -------- --------- ----- 66.249.68.47 Mozilla / 5.0 + (호환; + Googlebot / 2.1; 135131089 16640 194.90.190.41 omgilibot / 0.3 ++ omgili.com 133805857 6447
IP / 사용자 에이전트 별 시간별 최고 대역폭
SELECT TOP 30
TO_STRING(time, 'h') as Hour,
c-ip as Client,
SUBSTR(cs(User-Agent), 0, 70) as Agent,
Sum(sc-bytes) AS TotalBytes,
count(*) as Hits
FROM {filename}
group by c-ip, cs(User-Agent), hour
ORDER BY sum(sc-bytes) desc
hr 클라이언트 사용자 에이전트 totbytes 적중 -------------- ----------------------------------- ------ -------- ---- 9 194.90.190.41 omgilibot / 0.3 ++ omgili.com 30634860 1549 10 194.90.190.41 omgilibot / 0.3 ++ omgili.com 29070370 1503
IP / 사용자 에이전트 별 시간별 인기 조회
SELECT TOP 30
TO_STRING(time, 'h') as Hour,
c-ip as Client,
SUBSTR(cs(User-Agent), 0, 70) as Agent,
count(*) as Hits,
Sum(sc-bytes) AS TotalBytes
FROM {filename}
group by c-ip, cs(User-Agent), hour
ORDER BY Hits desc
hr 클라이언트 사용자 에이전트가 totbytes에 도달 -------------- ----------------------------------- ------ ---- -------- 10 194.90.190.41 omgilibot / 0.3 ++ omgili.com 1503 29070370 12 66.249.68.47 Mozilla / 5.0 + (호환; + Googlebot / 2.1 1363 13186302
{filename}은 물론 IIS 로그 파일의 경로입니다.
c:\working\sologs\u_ex090708.log
좋은 IIS LogParser 쿼리에 대해 많은 웹 검색을 수행했으며 귀중한 정보를 거의 찾지 못했습니다. 위의 5 개는 심각한 문제 고객을 식별하는 데 큰 도움이되었습니다. 하지만 궁금합니다. 무엇을 놓치고 있습니까?
통계적으로 이상이 발생했을 때 IIS 로그 (바람직하게 는 LogParser 쿼리 사용 )를 슬라이스 및 다이 싱하는 다른 방법에는 어떤 것이 있습니까? 서버에서 실행하는 좋은 IIS LogParser 쿼리가 있습니까?
5
참조 : blog.stackoverflow.com/2009/07/podcast-63
—
브래드 길버트
최고 대역폭 사용 쿼리에는 DISTINCT 키워드가 있습니다. 무엇이 좋은가요?
—
Jakub Šturc