Splunk의 대안?


76

나는 Splunk , 특히 버전 4에 꽤 감동합니다 . 예쁜 그래프, 경고 (엔터프라이즈 전용), 빠르고 정확한 검색. 훌륭한 제품입니다.

그러나 우리 회사의 전체 생산 사용을 고려하기에는 비용이 너무 높습니다. 실제로 필요한 것은 중앙에서 다른 로그를 색인화하고 합리적인 검색을하는 것입니다. 저장된 검색을 기반으로 알림을받는 것도 정말 좋습니다. 우리는 그 이상을 넘어 가지 않습니다.

실제로 가장 큰 사용법은 새로운 응용 프로그램을 배포하는 데있었습니다. log4net을 통해 모든 것이 Windows의 이벤트 로그 또는 Linux의 텍스트 파일에 기록됩니다. Splunk를 사용하면 앱에서 모든 부분이 제대로 작동하는지 확인하기 위해 해당 항목을 빠르게 검색 할 수있어 개별 로그 소스를 찾아내는 데 비해 많은 시간이 절약됩니다.

이 시장에는 어떤 대안이 있습니까? 나는 Splunk의 가격이 너무 비싸서 최고의 제품을 가지고 있기 때문에 가격이 너무 비싸다는 것을 알고 있습니다. 우리는 서버가 Windows에서 실행되기를 원합니다.

일반 로그 용 제품 하나 (syslog / Snare를 통해 수집)와 사용자 지정 앱 전용 제품 (예 : Log4Net Dashboard )을 사용하여 분할 모델을 사용할 수 있습니다.

SQL Server로 전송 된 Kiwi와 같은 간단한 syslog 서버 (전체 텍스트 사용 가능)를 사용할 수 있습니까?

가격이 미화 5 달러 미만이되기를 바랍니다. (그렇습니다, 우리는 저렴합니다. 우리는 돈이 거의없는 신생 기업이며 BizSpark는 모든 MS 라이센스를 관리합니다.)

편집 : 나는 약 10 개의 물리적 서버, 20 개의 VM 및 몇 개의 방화벽과 스위치를 추가해야합니다. 90 %는 Windows입니다.


이 SO 게시물을 참조하십시오 : stackoverflow.com/questions/183977/…
warren

BizSpark는 무엇을 다루나요? 시스템 센터 시리즈는 일반 Windows 모니터링 경로, 특히 운영 관리자 ... 것 같아
오스카 Duveborn에게

무엇 이다 인 Splunk 가격은 어쨌든? 나는 그들의 웹 사이트에서 그것을 보지 못했다 ...?
피터 Mounce

9
Splunk 가격은 위험합니다! 영구 라이센스의 경우 5GB / 일의 데이터를 인덱싱하는 데 $ 30K가 넘습니다. (웹 사이트에 가격을 게시하지 않는 회사에주의하십시오!)
samsmith

답변:


30

참고 : 이것은 내가 주로 사용하는 Linux 및 무료 소프트웨어 와 관련이 있지만 Linux의 syslog 서버로 로그를 보내려면 Windows의 syslog 클라이언트를 사용하는 것이 좋습니다.

SQL 서버에 로깅 : ~ 30 대의 컴퓨터 만 있으면 거의 모든 중앙 집중식 syslog와 SQL 백엔드를 사용할 수 있습니다. 나는 이것을 위해 Linux에서 syslog-ng 와 MySQL을 사용합니다.

그래프 작성을위한 예쁜 프론트 엔드 가 주요 문제입니다. 로그에서 항목을 가져 와서 적중, 경고 등을 표시하는 해킹 된 프론트 엔드 가 많이있는 것처럼 보이지만 통합되고 깨끗한 것을 찾지 못했습니다. 분명히 이것은 당신이 찾고있는 주요 것입니다 ... (좋은 것을 찾으면이 섹션을 업데이트 할 것입니다!)

경고 : Linux 서버에서 SEC 를 사용 하여 로그에서 발생하는 나쁜 일을 찾고 다양한 방법으로 나에게 경고합니다. Splunk만큼 유연하지 않고 매우 유연합니다. 거기에 여기 좋은 튜토리얼 가능한 많은 기능을 통해 안내합니다.

또한 다양한 통계 그래프와 로그에서 얻지 못하는 경고 (서비스가 다운 된 경우 등)에 Nagios 를 사용 합니다. 원하는대로 그래프를 추가하도록 쉽게 사용자 지정할 수 있습니다. 에이전트가 check_logfiles 플러그인을 사용 하여 로그의 적중 횟수를 계산하도록하여 (각 점검 기간 동안의 위치를 저장함) http 서버의 적중 횟수와 같은 항목의 그래프를 추가 했습니다.

사용할 수있는 옵션이 많지만 Splunk만큼 통합되지 않았으므로 원하는 작업을 수행하기 위해 더 많은 노력이 필요할 수 있기 때문에 전반적 으로이 설정에 소요되는 시간에 따라 달라집니다 . Nagios 그래프는 설정하기 간단하지만 그래프를 추가하기 전의 히스토리 데이터는 제공하지 않지만 Splunk (및 아마도 다른 프론트 엔드)를 사용하면 과거 로그와 그래프 만 다시 볼 수 있습니다. 그들에게서 볼 생각.

또한 SQL 데이터베이스 형식과 인덱싱은 쿼리 속도에 영향을 미치므로 전체 텍스트 인덱싱에 대한 아이디어는 검색 속도를 크게 향상시킵니다. MySQL 또는 PostgreSQL이 비슷한 작업을 수행할지 확실하지 않습니다.

편집 : MySQL은 전체 텍스트 인덱싱을 수행하지만 MySQL 5.6 이전의 MyISAM 테이블에서만 수행합니다 . 5.6에서는 InnoDB에 대한 지원이 추가되었습니다 .

편집 : Postgresql은 물론 전체 텍스트 검색을 수행 할 수 있습니다 : http://www.postgresql.org/docs/9.0/static/textsearch.html


7

창문보다 * nix를 더 겨냥했지만 문어 는 창문을 지원하며 splunk와 같은 종류를 목표로하는 것 같습니다.


링크가 끊어졌습니다. 고쳐 주 시겠어요?
Martijn Heemels

링크가 여기에서 작동하는 것 같습니다.
3dinfluence

편집했습니다. 그러나 올바른 링크를 찾는 것은 어렵지 않았습니다.
Cian

9
네 ... 8pussy직장에서 도메인 이름 으로 웹 사이트를 방문하고 있지 않습니다
Mark Henderson

6

여러 가지 모니터링 솔루션을 시도하는 중이지만 주로 창을 모니터링하고 싶습니다. 대부분의 시스템은 에이전트 없이도 엄청난 양의 정보를 끌어낼 수있는 SNMP 모니터링 기능을 갖추고 있습니다.

이것들은 지금까지 시도한 시스템 중 일부입니다.

Nagios-오픈 소스. 구성 할 돼지이지만 등급이 높고 매우 유연 해 보입니다. 본질적으로 카운터 레코더 인 것처럼 보이며 원격 스크립트 실행을 허용하지 않으므로 MS 시스템 센터 또는 Kaseya와 같은 구성 문제를 포착하는 데 사용할 수 없습니다. 에이전트는 없지만 각 클라이언트에 NSclient 도구가 설치되어 있지 않으면 본질적으로 쓸모가 없습니다.

Cacti-snmp 통계를 당기는 것에 기반한 예쁘고 간단한 그래프 도구입니다. 요원이 없습니다.

OpsView-Nagios를 기반으로하지만 구성하기 쉽고 프런트 엔드가 더 좋습니다.

HypericHQ-Windows에서 쉽게 시작하고 실행할 수 있습니다. 기본 버전은 무료이며 많은 기능을 수행합니다. 상업적 HypericHQ 기업이 있습니다. 각 클라이언트에 에이전트를 설치해야합니다.

Zabbix-또 다른 멋진 모니터링 도구. nagios보다 사용하기 쉽습니다. Windows 및 클라이언트 시스템에 설치할 수있는 에이전트가 있습니다. 나는 지금까지 이것을 조금 탐구했습니다.

Zenoss-오픈 소스. Zenoss의 전문성에 깊은 인상을 받았습니다. SNMP 기반 모니터이며 HP 프로 라이언트, Windows 서비스, ms sql 서버, mysql을 모니터링 할 수있는 많은 확장 기능이 있습니다. 확장은 모두 SNMP를 통해 작동하므로 클라이언트 시스템에 아무것도 설치할 필요가 없습니다. 나는 그것을 아직 탐구하지 않았으며 아직 악용하지 않은 많은 기능이있는 것으로 보입니다. Zope를 기반으로하므로 Zope 설치 속도를 높이 지 않으면 미리 준비된 VM을 다운로드하는 것이 좋습니다. 즉시 꿈처럼 작동합니다.

상업적 측면에서 몇 가지 도구를 살펴볼 수 있습니다.

Kaseya-250 노드에 대해 연간 약 6k의 비용이 듭니다. MSP 시장을 목표로하며 여러 회사 시스템을 모니터링 할 수 있습니다. 내부적으로 문제없이 사용할 수 있습니다.

GFI Hounddog-Kaseya보다 간단하지만 현재 매우 저렴합니다. 볼만한 가치가 있습니다.

MSP 시스템으로 판매되는 많은 솔루션이 있지만 본질적으로 모니터 + 원격 관리자가 결합되어 있습니다.

이안


6

많은 훌륭한 기능을 갖춘 중앙 집중식 syslogging의 경우 rsyslog를 충분히 권장하지는 않습니다. 오픈 소스 syslog 서버는 사용자가 알고 사랑하는 일반 syslogd의 드롭 인 대체품으로 행복하게 작동 할 수 있습니다. 우분투에서 선택한 syslog 데몬이며 Red Hat & Fedora가 그 경로를 따라 가고 있다고 생각합니다. syslog-ng가 원하는 것을 시작하고 실행하기가 훨씬 쉽다는 것을 알았습니다.

현재 우리 매장에는 수백 대의 서버에 대한 로그를 수신하는 두 개의 중앙 rsyslog 서버 (각 사이트에 하나씩)가 있습니다. syslog의 무언가가 경고 이상을 트리거 할 때마다 자동 전자 메일 경고가 있습니다 (물론 약간의 조정으로 일부 앱은 약간 경고입니다). 아마도 물건을 nagios 등으로 보내도록하는 것과 같은 더 똑똑한 것을 할 수는 있지만 현재 우리의 필요를 충분히 충족시켜줍니다.

이 모든 것이 mysql 데이터베이스에도 적용됩니다 (롤 방식이라면 Oracle 또는 postgresql도 지원합니다).

도 있습니다 웹 프론트 엔드Windows 에이전트 뿐만 아니라 위해 rsyslog 서버에 이벤트 로그 로그를 전송은. 웹 프론트 엔드는 분명히 매끄럽지 않지만 매끄럽지 않은 작업은 $ 0입니다.



2

Splunk가 굉장하다는 데 동의합니다. 작지만 지배적 인 Linux 환경의 경우 epylog 와 같은 것을 원할 수 있습니다 .

우리는 내가 일했던 곳 중 하나에서 그것을 사용했고, 우리가 원하는 것에 좋았습니다.

Linux syslog 콜렉터로 전송되는 Windows syslog 메시지를 얼마나 잘 처리하는지 확실하지 않지만 한 번 가치가 있습니다.



1

GFI EventsManager 와 같은 것은 약 $ 4k의 트릭을 할 수 있습니다.

  • SNMP 트랩, Windows 이벤트 로그, W3C 로그 및 Syslog를 포함한 이벤트 로그 분석
  • 실시간 경고, SNMPv2 트랩 경고 포함
  • 현재 진행중인 주요 보안 정보에 대한 보고서보기
  • 중앙 집중식 이벤트 로깅
  • 모든 보안 이벤트의 큰 비율을 구성하는 "노이즈"또는 사소한 이벤트 제거
  • 실시간 24 x 7 x 365 일 모니터링 및 경고
  • 내장 된 상태 모니터를 통해 GFI EventsManager 및 네트워크의 상태를 그래픽으로 모니터링
  • 가상 환경 지원

1

SysLog 교체를 찾고 있다면 LogLogic, http://loglogic.com 과 같은 상용 syslog / rsyslog 교체를 고려할 수도 있습니다 . 우리 (내가 일하는 곳)에는 모든 기능을 갖춘 로깅, 스토리지 및보고 장비 세트가 있습니다. 기본적으로 초당 100,000 개의 메시지를 수집하고, 아프고 색인을 생성하여 검색을 수행 할 수 있습니다.


최근에 LogLogic 데모를 보았습니다. 매우 인상적인 것들.
톰 오코너

더 나은 LogLogic 5 데모를 요청해야합니다.
BillRoth


0

이전 작업에서 MySQL 백엔드 작업을 수행했지만 (필자는 MySQL이었습니다) 스크립트, 사용자 정의 PHP 스크립트가있는 Drupal 인터페이스, 작품.

솔직히, 너무 많은 인력이 소요되었지만 여전히 Splunk가 아니 었습니다.

현재 Splunk를 대신 테스트하고 있습니다. 예, 무료는 아니지만 큰 그림을 보면 실제로 더 저렴할 수 있습니다.



0

듀플 스레드를 게시했습니다. Splunk는 환상적으로 비쌉니다. 대안은 무엇입니까?

xpolog와 모든 심각한 상용 솔루션은 BIG $입니다.

Sooooo, 우리가 마침내 한 일 (splunk가 너무 많은 $이기 때문에) :

1) 우리는 SQL DB 파이프 라인에 간단한 syslog를 원했습니다.

2) 키위 syslog를 시도했습니다. 이것은 일주일 동안 잘 작동했고 작동을 멈추었고 키위 지원으로 해결할 수 없었습니다. 키위를 떨어 뜨 렸어요

3) winsyslog를 시도했습니다. 앱의 오래된 개, 우리는 그것을 배우고 싶지 않았습니다.

4)이 무료 .net 앱을 사용했습니다 : http://www.aonaware.com/syslog.htm

짜잔 DB에 syslog 메시지가 있습니다.

우리는 매우 행복해. 몇 시간이 걸리지 만 너무 많지는 않은 $ 0.


0

우리는 여기서 Splunk를 사용하고 있으며 그들이 말한 가격에 충격을 받았습니다. 우리가받은 기본 분석은 1GB의 데이터 당 약 $ 1k 정도였습니다. 비용이 많이 들지만 매우 강력하고 개발하기가 정말 빠릅니다. 데이터 소스와 그 데이터로 수행하려는 작업에 따라 일부 Python 및 Perl 스크립트는 많은 유사한 데이터를 제공 할 수 있습니다. 가장 큰 차이점은 시간과 텍스트 처리를 위해 실제로 언어를 사용하는 법을 배우는 것입니다. 또한 실시간 IP 정보 (syslog와 같은 것)를 얻을 수는 없지만 syslogger를 가져 와서 정보를 텍스트 파일로 출력하여이 문제를 해결할 수 있습니다. 특정 솔루션으로 안내 할 수 없습니다. 우리가 splunk를 사용할 수없는 것은 python, perl 및 bash 스크립트를 사용합니다.


0

ELSA-엔터프라이즈 로그 검색 및 보관

주요 특징:


  • 메시지 또는 구문 분석 된 필드의 모든 단어에 대한 전체 텍스트 검색.
  • 필드별로 그룹화하고 결과를 기반으로 보고서를 생성합니다.
  • 검색 일정.
  • 새 로그에서 검색 히트시 경고
  • 검색 저장, 이메일 저장 검색 결과.
  • 플러그인을 사용하여 검색 결과를 기반으로 인시던트 티켓을 만듭니다.
  • 결과를위한 완벽한 플러그인 시스템.
  • 영구 링크 또는 Excel, PDF, CSV 및 HTML로 결과를 내 보냅니다.
  • 권한에 대한 완전한 LDAP 통합.
  • 사용자 및 로그 크기 및 개수 별 쿼리 통계.
  • 완전히 분산 된 아키텍처로 모든 쿼리가 병렬로 실행되는 n 개의 노드를 처리 할 수 ​​있습니다.
  • 10 : 1 이상의 비율로 압축 된 아카이브.

성능 세부 사항 :


시스템을 지정하려면 디스크 크기, RAM, 디스크 속도, 숫자 CPU의 순서대로 중요합니다. 가장 중요한 성능 요소는 Sphinx의 인덱서 및 검색 데몬이므로 sphinxsearch.com을 참조하십시오. 내 주어진 통계는 큰 시스템 (16 CPU, 144 GB RAM, 12 TB HD)에서 가져온 것이지만 선형으로 확장되는 4 CPU, 8 GB RAM 및 모든 크기의 HD가있는 시스템에서 동일한 성능을 얻습니다. 이 시스템은 먼저 4GB RAM과 느린 SAN 드라이브를 갖춘 IBM 블레이드에서 실행되었으며 거의 ​​같은 속도로 수행되었지만 4GB는 약간 근접했습니다.


성능 세부 사항 및 주요 기능 목록과 아키텍처에 대한 설명 : http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

코드 : https://code.google.com/p/enterprise-log-search-and-archive/

VM : http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

프로젝트에 관한 세부 사항 : http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html


당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.