리눅스 : 로그 파일의 새 줄을 원격 syslog에 보내는 방법?

자체 일반 텍스트 로그 파일을 생성하는 여러 응용 프로그램이 있으며 중앙 로깅을 위해 원격 syslog 서버로 전달하고 싶습니다. root이 컴퓨터에서 액세스 할 수 없으며 syslog원격 컴퓨터로 출력을 리디렉션하도록 재구성 할 수도 없습니다 .

온라인에서 몇 가지 솔루션을 찾았지만 주로 사람들이 만든 수제 bash 스크립트이며 잠재적으로 대량 생산 환경에서 구현하기에 더 견고한 것을 찾고 있습니다.

가급적 작은 풋 프린트, 계속 실행되는 백그라운드 데몬, 많은 라인을 유지할 수있는 백그라운드 데몬을 염두에두고 설계된 것이 좋습니다.-현재 어떤 솔루션을 사용할 수 있습니까?

이미 "다른 사람들의 bash 스크립트"를 거부했지만 이것은 매우 일반적인 해결책 입니다. logger명령을 창의적으로 사용 하면 파일을 따라 다른 곳으로 내용을 보낼 수 있습니다.
나는 개인적으로 프로덕션 환경에서 이것을하지 않을 것입니다.

적은 스크립트 해커를 필요로하는 더 나은 옵션을 사용 rsyslogd하여 텍스트 파일 입력 모듈 과 같은 yoonix 언급 - 파일 회전시 손실 라인에 대한 몇 가지 가능성이 있지만 이것은 꽤 괜찮은 솔루션입니다, 당신은있는 리눅스 시스템에 있다면 rsyslogsyslog 데몬으로 많은 추가 작업이 필요하지 않습니다.

syslog-ng의 기능과 유사한 기능을 가진 파일 입력 소스 도 지원 합니다rsyslog .

이 로그를 생성하는 응용 프로그램을 수정해야하지만 최상의 솔루션 인 IMHO는 syslog에 직접 로그인하는 것입니다. 당신은 등의 중간 단계, 파일을 겪고 싶지 않아 - syslog시스템 로거이며, 유닉스 플랫폼에서 쓰기 로그 것들 한다 그들을 syslog로 전송 될 수있다.
불행히도이 구현은 독자 (및 응용 프로그램 개발자)의 연습으로 남겨두고 개발자가 없거나 게 으르거나 무능한 경우에는 불가능할 수 있습니다.

파일 입력 및 syslog 출력 과 함께 logstash 를 사용할 수 있습니다 .

예를 들어, 모니터링하려는 파일 또는 syslog 서버 정보로 구성을 작성하십시오.

file-to-syslog.conf :

input { file { path => "/var/log/kern.log" } }
output {
    syslog {
        facility => "kernel"
        host => "syslog.example.com"
        port => 514
        severity => "informational"
    }
}

로 시작하는 logstash

java -jar logstash-1.2.2-flatjar.jar agent -f file-to-syslog.conf

나는 함께 해킹 tail.c과 logger.c빠르고 안정적 경량 하나의 작은 풋 프린트 컴파일 된 프로그램 (바이너리)로. 로그 파일에 대한 읽기 액세스 권한이 있으면 루트 권한이 없어도 작동합니다.

또한 원시 로거를 몇 가지 개선하고 로그 서버로 보내기 전에 각 로그 줄의 시작 부분에 텍스트 문자열을 삽입하는 새로운 (선택 사항) 기능을 추가했습니다. 결과적으로 쉘 파이프를 사용할 필요없이 자체적으로 실행할 수있는 프로그램이 만들어집니다 (예 : 필요 없음 tail logfile | logger). 명시 적으로 종료되거나 네트워크 소켓에 쓰는 동안 오류가 발생할 때까지 영구적으로 실행됩니다. 로그 파일이 회전하거나 사라져도 계속 실행됩니다 (파일이 다시 나타나는지 계속 확인합니다).

사용하기 쉽습니다. 모니터링 할 하나 이상의 로그 파일을 제공하면 파일에 새 줄을 쓸 때마다 해당 줄의 사본을 지정한 로컬 또는 원격 syslog 서버로 보냅니다. 해당 옵션을 사용하는 경우 추가 텍스트 문자열이 추가됩니다.

나는 실제로 프로그램을 12 월에 다시 마치지만 야후가 저작권을 가지고 그것을 이용할 수있게되기를 기다리고 있었다. (저는 Yahoo에서 제 업무의 일부로 썼습니다).

파일 로거 프로그램 정보 및 다운로드 링크 :

• filelogger에 대한 블로그 게시물
• 파일 로거 용 GitHub Repo

이를 해결하는 방법에는 여러 가지가 있습니다. 그러나 가장 먼저해야 할 일은 syslog 자체를 사용하여 로그를 전달하는 것 입니다.

Syslog (및 많은 syslog 대체품)에는 다른 주소의 다른 syslog 서버에 로깅을 전달하는 기능이 내장되어 있습니다. 구성 파일을 변경하고 기능을 전달할 주소를 추가하여 쉽게 수행 할 수 있습니다. 예를 들어,이 행을 다음에 추가하십시오.

*.*    @192.168.1.1

... 모든 시설을 192.168.1.1로 기계에 전달 하면 서비스가 실행됩니다. 여기에 제공하는 예는 데비안의 syslog 서버 인 rsyslog에 대한 것이지만 다른 많은 경우에는 작동합니다. syslog 구현에 대한 문서를 man syslog참조하고 "전달"에 대한 내용을 참조하십시오.

원격 syslog 서버는 원하는 것이 될 수 있습니다. Splunk 와 같은 제품도 웹 대시 보드, 검색, 이벤트 중심 알림 등을 사용하여 이러한 로그를 단일보기로 집계합니다. http://www.splunk.com/ If 필요에 맞지 않으면 다른 것을 사용할 수 있습니다. SQL 데이터베이스에 덤프 할 syslog 서버도 있습니다!

물론,이를 위해 스크립트 / 프로그램 / 서비스를 직접 작성할 수는 있지만 휠이 이미 완료되어 이미 제공되었을 때 바퀴를 다시 발명해야하는 이유는 무엇입니까?

편집 : 그래서 돌아가서 질문을 다시 읽고 몇 가지 의견을 보았습니다. 처럼 들린다:

1. 응용 프로그램 로그를 집계하려는 경우
2. 당신은 루트에 액세스 할 수 없습니다
3. 응용 프로그램이 어딘가에 텍스트를 덤프합니다.
4. 응용 프로그램이 로컬 syslog에 쓰는 방법을 모른다
5. 응용 프로그램 소스 코드를 제어 할 수 없습니다

따라서 순서대로 각 주소를 살펴 보겠습니다.

1. syslog는 로그를 함께 집계하기위한 것입니다. 원하는 것을 사용할 수 있지만 오랫동안 주변에 있었던 이유가 있습니다. 그것은 잘 테스트되고, 논쟁이 잘되고, 잘 문서화되고, 잘 알려져 있으며, 대부분의 * nix 플랫폼에 대해 거의 모든 풍미에서 거의 보편적으로 지원됩니다.
2. root로깅을 설정하기 위해 액세스 할 필요는 없습니다 . syslog API에만 액세스하면됩니다. rootsyslog에 쓸 필요는 없습니다. 이 경우 권한을 삭제하는 모든 서비스가 진단을 로그 파일에 쓸 수 없습니다.

3. 다시 : 텍스트 덤프, 이것은 정상입니다. 그러나 서브 쉘을 사용하여 STDERR 및 STDOUT의 출력을 syslog API를 호출하는 프로그램으로 파이프 할 수 있어야합니다. 이것은 로켓 과학이 아니며 취하기 쉽지 않으며 문서화가 잘되어 있습니다. 실제로 출력 리디렉션이 존재하는 이유 중 하나입니다. 단일 셸 스크립트로 던질 수있는 간단한 명령은 다음과 같습니다.

   (내 응용 프로그램 2> & 1 | my-syslog-shunt) &

4. 응용 프로그램의 소스 코드를 변경할 수있는 경우, 션트를 작성하여 일반 텍스트 파일 대신 syslog에 텍스트 출력을 덤프해야합니다. 너무 어렵지 않아야합니다. 당신이 할 일은 당신이 출력 할 라인을 가져 와서 전화로 감싸는 것입니다. 하나....

5. 소스 코드에 전혀 액세스하지 못할 수 있으므로이 작업을 수행 할 수 없습니다. 위의 # 3과 같은 것이 잘 작동한다는 것을 의미합니다.

나는 내 자신의 질문에 대답하고 있습니다.

견본이 작동했지만 호스트에서 작동하는 perl의 Sys :: Syslog 모듈을 얻을 수 없었으며 호스트에 설치된 / usr / bin / logger가 원격 서버에 대한 로깅을 지원하지 않습니다 (util-linux-ng- 2.17.2).

그래서 내가 한 첫 번째 일은 로거 프로그램이 원격 로깅을 지원하는 util-linux-2.20.1의 소스 코드를 다운로드하는 것이 었습니다. 테스트 결과 로그 라인에 허용되는 문자 수에 제한이 있음이 분명해졌습니다. 소스 코드를 파고 들어 하드 코딩 된 400 자 제한을 찾았습니다. (나를 믿지 않는다면, 리눅스 시스템에서 "strings / usr / bin / logger | grep 400"을 실행하십시오).

이 제한은 아파치 유형의 로깅 (nodejs 포함)에는 허용되지 않으므로 코드를 수정하고 제한을 4096으로 늘 렸습니다. 또한이 명령을 사용하는 동안 옵션을 삽입 할 수있는 새로운 명령 줄 옵션을 추가했습니다. 각 로그 줄의 시작 부분에 텍스트 문자열. nodejs 로그에는 아파치에서 볼 수 있듯이 호스트 이름이 포함되어 있지 않기 때문에이 작업을 수행했습니다.

이 시점에서 "tail -F -n 0 [logfile] | ./modified_logger ...."로 쉘 스크립트를 실행할 수있었습니다. 그러나 파이프의 한쪽 또는 다른 쪽이 종료되면 전체 파이프가 종료 될 위험이 있기 때문에 감독 (daemontools) 또는 백그라운드에서이를 실행하는 것에 대해 약간의 우려가있었습니다. 또한 성능에 대해 걱정하지 않았습니다.

그래서 테일 기능과 로거 기능을 단일 실행 바이너리로 결합하여 Unix 파이프 또는 외부 프로그램을 사용할 필요가 없도록 결정했습니다. 나는 gnu coreutils에서 tail.c를 해킹하고 수정 된 로거 프로그램에 필요한 것을 통합 하여이 작업을 수행했습니다.

결과는 "파일 로거"라고하는 새로운 바이너리 (117k 크기)이며 하나 이상의 파일을 지속적으로 모니터링하고 UDP 또는 TCP를 통해 로컬 또는 원격 syslog에 각각의 새 줄을 기록합니다. 그것은 매력처럼 작동합니다. 약간의 벤치마킹을 수행 할 수 있었으며 VLAN과 몇 개의 물리적 스위치가있는 서브넷에서 syslog-ng를 실행하는 원격 서버에 약 3 초 동안 약 17,000 개의 회선 (1.8MB)을 기록합니다.

프로그램을 실행하려면 다음과 같은 작업을 수행하십시오 (포 그라운드, 백그라운드 또는 daemontools로 감독).

./filelogger -t '액세스'-d -p local1.info -n [원격 로그 호스트] -u / tmp / ignored -a $ (호스트 이름) / tmp / myfile1 / tmp / myfile2 ...

/ tmp / myfile1 및 / tmp / myfile2는 모니터중인 파일입니다.

"-a"는 내가 추가 한 새로운 옵션입니다. 이 경우 각 로그 줄의 시작 부분에 로컬 호스트 이름을 삽입합니다.

이 솔루션은 내가 질문을 할 때 찾고 있던 솔루션의 유형이었습니다. :)