로그 파일에서 반복되는 패턴을 감지하고보고하는 도구를 아는 사람이 있습니까? [닫은]

12

Java 응용 프로그램 (log4j)에서 큰 소음이 많은 로그 파일 (500m / day)을 모니터링해야합니다. 지금은 파일을 수동으로보고 grep "ERROR"등을 지정합니다. 그러나 도구가 파일에서 반복되는 패턴을 발견하고이를 세고 개별 항목의 세부 사항을 드릴 다운 할 수 있어야합니다. 그런 도구를 아는 사람이 있습니까? 텍스트 또는 웹 기반 UI가 좋을 것입니다.

log-files

— 데이비드 팅커
소스

1

나 에게이 질문은 절대 비명을 지른다 perl.

— John Gardeniers

흠, 그레프가 많은 bash 스크립트를 작성 해야하는 것처럼 보이기 시작했습니다. 패턴을 자동으로 파악하기를 바랐습니다.

— David Tinker

진심으로, 이것은 바로 펄이 만들어진 것입니다. 이러한 패턴에 대한 자체 학습 스크립트를 작성할 수 있지만 여기서는 그 범위를 벗어납니다.

— John Gardeniers

stackoverflow.com/questions/2590251/… 에는 Chainsaw라는 솔루션이 있습니다.

— John aka hot2use

datadoghq.com/blog/log-patterns <-적극 권장하지만 비용이 많이 들지는 않지만 너무 싸지는 않습니다.

— neokyle

3

사람들이 로그 파일에 베이지안 필터링을 적용하여 흥미로운 것들 대 일상적인 로그 항목을 발견했다고 들었습니다. 그들은 스팸 필터를 사용했는데, 일상적인 흥미없는 항목은 "양호한"것으로 간주되고 특이한 항목은 "스팸"으로 간주되어 그 색을 사용하여 전환 할 수있었습니다.

그것은 나에게 기계 학습 물건과 비슷하게 들리지만 다시는 실제로 그것을 보지 못했고 맥주를 통해서만 들었습니다.

— 아 다모
소스

이것은 나에게 완벽하게 합리적이며, 서버 로그에 항상 나타나는 특정 단어에 대해 매우 강력한 사전 가정 (베이지안 의미)을 가질 수도 있습니다 .

— DrewConway

그러나 이것은 일을 할 것입니다. 누구나 내가 훈련 할 수있는 구현을 알고 있습니까?

— David Tinker

CRM114로 시작할 수 있다고 생각합니다. 또는 Drew Conway가 자신의 Machine Learning for Hackers를 게시 할 때까지 기다리십시오 . 나는 여전히 내가 제안한 것에 대한 원래의 참조를 찾기 위해 노력하고 있습니다.

— adamo

네! 이 세이지 멤버 스레드 에서 2005 년에 다시 읽었습니다 . 이메일 작성자는 spamprobe를 언급 했습니다 .

— adamo

6

Splunk 는 이런 종류의 일에 놀라운 일을합니다. 내부적으로 모든 로그를 수집하고 뛰어난 브라우저 기반 인터페이스를 통해 빠른 검색을 수행합니다.

— 부한 칼리드
소스

불행히도 우리는 무료 버전과 약간 비싸야 할 것입니다

— David Tinker

3

syslog-ng에는 feature라는 이름의 patterndb가 있습니다. 패턴을 만들고 로그 항목을 실시간으로 일치시킨 다음 해당 항목을 별도의 로그 파일로 보낼 수 있습니다.

— 돌
소스

2

syslog-ng와 patterndb (위의 답변에 +1)를 살펴보면서 ELSA라는 웹 기반 도구를 발견했습니다. http://code.google.com/p/enterprise-log-search-and-archive/ . 웹 인터페이스가있는 펄의 F / OSS이며 정말 빠릅니다.

아직 시도하지는 않았지만 patterndb를 사용하여 필터링을 완료하면 ELSA를 시도합니다.

— EdwardTeach
소스

1

쁘띠를 사용해보십시오 .
log4j 형식으로 작동하는지 확실하지 않지만 사용자 정의 필터를 작성할 수 있습니다.
Petit은 웹 인터페이스가 없으며 쉘에 그래프를 표시합니다 (ASCII art ftw!).
반복되는 메시지를 빠르게보고 메시지가 발생하거나 더 자주 발생하는시기를 알아내는 것이 매우 유용합니다.

— 위조자
소스

0

서버에서 debian / squeeze를 사용하는 경우 log2mail을 확인하십시오. http://packages.debian.org/squeeze/log2mail

— ThorstenS
소스

0

Glogg는 문자열과 컬러 라인에 필터 기반을 만들거나 모든 항목을 문자열로 검색 할 수있는 로그 탐색기입니다.

http://glogg.bonnefon.org/

— 알렉산더 루
소스

0

Splunk는 일반적으로이를위한 좋은 솔루션입니다. 그러나 당신은 그것이 너무 비싸다고 언급했습니다. 따라서 Logstash 또는 GrayLog 를 보는 것이 좋습니다 .

— 라파엘 루티 거
소스

-1

패턴을 자동으로 감지하고 유사한 로그를 집계하는 SEQREL의 LogXtender를 사용해 볼 수 있습니다. 그 방법은 즉시 정규식을 작성하고 캐시 된 정규식을 사용하여 다른 로그와 일치시키는 것입니다. 추가적인 분류법 탐지로 더 세분화 될 수 있습니다. https://try.logxtender.net 에서 무료 버전을 다운로드 할 수 있습니다 .

— 미네 아
소스