대규모 환경에서 FreeBSD의 포트를 어떻게 관리하고 배포합니까?

사람들이 어떻게 환경에서 FreeBSD의 포트를 배포하고 있는지 궁금합니다. 필자는 FreeBSD를 사용하는 대부분의 사람들이 실제로 포트를 사용한다고 가정합니다 (그리고 종종 바이너리로 업그레이드하기 위해 포트 업그레이드). 그러나 최근 버전에서 작동하는 방식에 만족하지 않기 때문에이 설정을 사용하는 방법에 관심이 있습니다. 현재 FreeBSD 9.0을 실행 중이며 문제가 있습니다.

다음과 같이 설정했습니다.

• / usr / ports는 한 노드에서 NFS를 통해 공유됩니다 (야간 'portsnap fetch update').
• 각 노드는 / usr / ports를 읽기 / 쓰기로 마운트합니다.
• 모든 노드의 /etc/make.conf에서 "WRKDIRPREFIX = / usr / tmp"를 설정했습니다
• /usr/local/etc/pkgtools.conf에 다음을 추가하여 로컬 색인을 사용하도록 Portsnap을 구성했습니다.

ENV['LOCALINDICES'] ||= '/var/db'

ENV['PORTS_INDEX'] ||= ENV['LOCALINDICES'] + '/INDEX.local'

portupgrade -p package패키지를 빌드 한 다음 portupgrade -P package다른 노드에 바이너리를 설치 하기 위해 성공적으로 실행할 수 있습니다 .

그러나 때로는 다음과 같은 문제가 발생합니다. /var/db/INDEX.local:23265:dbm_store failed

색인이 로컬에 상주하기 때문에 시스템에 수행 할 수있는 다른 최적화 방법을 생각할 수 없으며 실제로 내 보낸 유일한 것은 포트 트리이며 노드에서 아무것도 기록되지 않습니다.

대규모 환경에서 포트 시스템에 대해 완전히 만족 한 적이 없습니다. 제대로 작동하려면 항상 외부 관리를 적용해야 할 것 같습니다.

나의 가장 좋은 팁 (우선 순위에 따라 "최악의"솔루션을 "최상의"솔루션으로)

각 호스트에서 구축하는 경우 하지 마십시오 .
설명과 같이 읽기-쓰기 마운트를 사용하여 NFS를 통해 수행하지 마십시오. 대체 작업 디렉토리를 제공하는 경우 일반적으로 올바른 작업을 수행 할 포트를 신뢰할 수 있으며 포트 트리에서 스톰 핑 할 수는 없지만 항상 낫습니다. 죄송합니다. 안전 : 로컬 CVS / csup 미러를 실행하고 해당 상자에서 모든 호스트를 csup 한 다음 개별 머신 인 것처럼 로컬로 빌드하십시오.
예, 이것이 호스트에 추가 디스크 공간이 있고 추가 단계가 필요하다는 것을 알고 있습니다. 또한 문제가 거의 없음을 보증합니다.
경고: 지정된 "구성 호스트"에서 패키지 구성 파일 (rsync 또는 유사한)을 동기화하여 각 시스템의 일관성을 유지하려고합니다 (각 노드에서 csup을 사용하지 않고 원하는 경우 전체 포트 트리를 재 동기화 할 수도 있음).

빌드 호스트를 사용하여 패키지를 작성하고 설치하십시오.
각 개별 머신을 구축하는 것보다 훨씬 더 나은 솔루션 : 빌드 호스트를 사용하여 패키지를 작성하고 도구가 해당 패키지를 가리 키도록하십시오.
즉, 실행하는 모든 아키텍처 (또는 크로스 컴파일)마다 빌드 호스트를 유지하지만 궁극적으로 대상 컴퓨터에 더 좋습니다 (대규모 컴파일 작업이없고 일관성이 보장됨)

구성 / 시스템 관리 도구를 사용하십시오.
이것이 제가 해결 한 솔루션입니다. 표준 서버 이미지를 구축하고이를 사용하여 내 환경에 배치합니다 radmind. Puppet 또는 Chef로 비슷한 작업을 수행 할 수 있습니다 . 이는 빌드 호스트 사용 (일관성, 개별 서버의로드 감소)을 사용하는 모든 이점을 가지며 구성 관리의 이점을 추가합니다.

주의 사항 : 컴퓨터가 "동일"한 경우에만 효과적입니다. 즉, 모든 포트에 동일한 포트 세트를 설치할 수 있습니다. 이 수 는 포트의 설정을 변경 한 경우 작동하지만 실질적으로 관리 오버 헤드를 증가시킨다.

면책 조항 : 의 포트 관리자입니다 sysutils/radmind. 예, 제가 채택한 것이 마음에 듭니다.

이 모든 것은 다양한 크기의 FreeBSD 환경을 관리 한 경험 (1 ~ 2 대에서 100 대까지)에 기초합니다. 표준화 된 이미지를 푸시하고 유지 관리하는 구성 / 시스템 관리 도구는 실제로 내 경험에서이를 처리하는 가장 좋은 방법입니다.

아무도 ports-mgmt / tinderbox를 언급하지 않은 것이 이상합니다 .

Tinderbox는 Pointyhat 빌딩 클러스터에 사용되는 공식 Portbuild 스크립트를 기반으로하는 FreeBSD 포트 용 패키지 빌딩 시스템입니다. Tinderbox는 Joe Marcus Clarke이 작성했습니다.

여러 감옥 (기본 시스템 버전)과 여러 포트 트리를 정의 할 수 있습니다. jail과 portstree의 조합을 빌드라고합니다. 틴더 박스 감옥은 FreeBSD에서 감옥으로 이해되는 것이 아니며, 실제로는 chroot에서 주어진 세계입니다. Tinderbox는 종속성 자동 추적을 지원하고 마지막 실행 이후 변경된 패키지 만 다시 작성합니다. Tinderbox는 빌드 실패에 대한 이메일 알림을 지원합니다. Tinderbox는 ccache 와도 잘 통합됩니다.

Tinderbox는 필요한 플랫폼 및 아키텍처에 필요한 포트 세트를 쉽게 제공하도록 설계되었습니다. Tinderbox는 또한 새로운 포트 및 포트 업그레이드 테스트, 특히 종속성 및 패킹리스트 테스트에 탁월한 도구입니다. FreeBSD 7.X / 8.X 호스트에서 FreeBSD 6.X 월드를 감옥으로 실행할 수 있기 때문에 다양한 FreeBSD 릴리스에서 포트를 테스트하는 데 유용합니다.

또한 pkgng로 전환 하면 패키지 배포가 크게 간소화됩니다.
github에서 확인하십시오 : https://github.com/pkgng/pkgng

잘 조정 된 NFS를 통해 / usr 읽기 전용을 공유하고 / var에서 / usr로 패키지 데이터베이스를 이동하고 이들과 심볼릭 링크를하여 100 개 이상의 FreeBSD 서버를 관리했습니다 (필수는 아니지만 pkg_info 등 활성화). 한 방향 또는 다른 방향으로 이동하고 심볼릭 링크가 필요한 하나 또는 두 개의 다른 파일이있을 수 있지만 전체 설정에서 알아내는 데 약 1 시간이 걸렸습니다. 아주 잘 작동했습니다. 스케일링 문제가 발생하면 NFS 서버를 추가하고 워크로드를 분할했지만 결코 작동하지 않았습니다. 성능은 결코 문제가되지 않았지만 (실제로는 훌륭했습니다) NFS 서버의 / usr (또는 그 사본)을 md에 넣을 수 있다고 생각합니다.

불행히도 아무도 이것에 대한 좋은 해결책을 얻지 못한 것으로 보입니다. 이것은 아마도 기본 도구의 한계 때문일 것입니다.

내가 생각해 낸 것은 다음과 같습니다. 전체 포트 트리를 내보내는 아이디어를 폐기했습니다. 대신, 각 노드에 전체 포트 트리를 제공하고 배치했습니다. 그런 다음 NFS를 통해 '패키지'를 마운트했습니다 (패키지 배포 가능).

또한 portnap 프로세스 속도를 높이기 위해 캐싱 프록시 (아마도 오징어)를 사용하려고합니다. 내 블로그에서 설정하는 방법에 대한 간단한 게시물을 작성했습니다 .

참고 문헌 :

• 대리 아이디어
• 포트 스냅 (또는 전체적으로)에 http 프록시 구현