병렬 의사 난수 생성기

이 질문은 주로 실용적인 소프트웨어 엔지니어링 문제와 관련이 있지만 이론가들이 더 많은 통찰력을 제공 할 수 있는지 궁금합니다.

간단히 말하면, 의사 난수 생성기를 사용하는 Monte Carlo 시뮬레이션이 있으며 동일한 시뮬레이션을 병렬로 실행하는 1000 대의 컴퓨터가 있도록 병렬화하고 싶습니다. 따라서 1000 개의 독립적 인 의사 난수 스트림이 필요합니다.

다음과 같은 속성을 가진 1000 개의 병렬 스트림을 가질 수 있습니까? 여기서 는 모든 종류의 훌륭한 이론적 및 경험적 특성을 가진 매우 유명하고 널리 연구 된 PRNG 여야합니다.$X$

1. 스트림은 단순히 를 사용 하고 에 의해 생성 된 스트림을 1000 스트림으로 분할하면 얻을 수있는 것만 큼 좋을 것 입니다.$X$$X$

2. 스트림에서 다음 숫자를 생성하는 것은 다음 숫자를 생성하는 것만 큼 빠릅니다 .$X$

달리 말해 : "무료"로 여러 개의 독립적 인 스트림을 얻을 수 있습니까?

물론 우리가 단순히 를 사용 $X$하고 항상 999 개의 숫자를 버리고 1을 고르면 반드시 1의 속성을 가지게되지만, 실행 시간에는 요소 1000만큼 잃게됩니다.

간단한 아이디어는 시드 1, 2, ..., 1000과 함께 1000 개의 사본을 사용하는 $X$것입니다. 이것은 확실히 빠르지 만 스트림에 우수한 통계적 속성이 있는지는 분명하지 않습니다.

인터넷 검색 후 예를 들어 다음을 발견했습니다.

• SPRNG의 라이브러리는 정확히 이러한 목적을 위해 설계되는 것, 그리고 그것을 지원하는 여러 PRNG도를 .

• 메르 센 트위스터 는 요즘 인기있는 PRNG 인 것처럼 보이며 여러 스트림을 병렬로 생성 할 수있는 변형에 대한 참조를 발견했습니다.

그러나이 모든 것이 제 연구 분야와는 거리가 멀기 때문에 실제로 최신 기술이 무엇인지, 그리고 이론적으로뿐만 아니라 실제로 어떤 구조가 잘 작동하는지 알 수 없었습니다.

몇 가지 설명 : 나는 어떤 종류의 암호화 속성이 필요하지 않습니다. 이것은 과학적 계산을위한 것입니다. 수십억 개의 난수가 필요하므로 기간의 발전기를 잊을 수 있습니다 $< 2^{32}$.

편집 : 나는 진정한 RNG를 사용할 수 없습니다; 결정적인 PRNG가 필요합니다. 첫째, 디버깅에 많은 도움이되고 모든 것이 반복 가능해집니다. 둘째, 다중 패스 모델을 사용할 수 있다는 사실을 이용하여 예를 들어 중간 값 찾기를 매우 효율적으로 수행 할 수 있습니다 ( 이 질문 참조 ).

편집 2 : @StackOverflow : 클러스터 환경에 대한 의사 난수 생성기 와 밀접한 관련이 있습니다 .

Saito와 Matsumoto가 개발 한 Mersenne Twister 알고리즘의 진화를 사용할 수 있습니다.

SIMD 지향 고속 메르 센 트위스터 (SFMT)

SFMT는 한 단계에서 128 비트 의사 난수 정수를 생성하는 LFSR (Linear Feedbacked Shift Register) 생성기입니다. SFMT는 다단계 파이프 라이닝 및 SIMD (예 : 128 비트 정수) 명령어와 같은 최신 CPU의 병렬 처리를 위해 설계되었습니다. 32 비트 및 64 비트 정수와 배정 밀도 부동 소수점을 출력으로 지원합니다. SFMT는 대부분의 플랫폼에서 MT보다 훨씬 빠릅니다. v- 비트 정밀도에서 속도뿐만 아니라 등분 포의 치수도 개선되었습니다. 또한 0 초과 초기 상태에서 복구하는 것이 훨씬 빠릅니다. 자세한 내용은 사이토 무츠 오 석사 논문을 참조하십시오 .

기간이 다르다 에 2 216,091 - 1 .$2^{607}-1$$2^{216091}-1$

초기 값을 변경하여 여러 개의 독립적 인 스트림을 생성하기 위해 하나의 동일한 의사 난수 생성기를 사용하면 문제가 발생할 가능성이 거의 없습니다. 문제를 피하려면 각 세대마다 다른 매개 변수를 사용하는 것이 좋습니다. 이 기법을 MT 파라미터의 동적 생성 이라고 합니다.

SFMT 소스 코드에는 가변 기간의 매개 변수 세트와 CSV 파일을 컴파일 가능한 매개 변수 세트로 변환하는 awk 스크립트의 일부 예가 있습니다. " 메르 센 트위스터 생성기의 동적 생성 "이라는 도구도 있습니다 .

저자는 최근 GPU에서 실행하고 기본 병렬 실행 스레드를 활용하도록 설계된 또 다른 수정 된 버전의 Mersenne Twister ( 그래픽 프로세서 용 Mersenne Twister)를 개발했습니다. 주요 기능은 속도입니다 : GeForce GTX 260에서 4.6ms마다 임의 정수.$5 \times 10^7$

생성 된 시퀀스의주기는 , 2 23,209 - 1 및 2 44,497 - 1 32 비트 버전 및 (2) 23,209 - 1 , 2 44,497 - 1 , 2 110,503 - 1 64 비트 버전. 각주기마다 128 개의 매개 변수 세트를 지원합니다. 즉, 각주기마다 128 개의 독립적 인 의사 난수 시퀀스를 생성 할 수 있습니다. 더 많은 파라미터 세트를 생성하는 MTGP 용 Dynamic Creator를 개발했습니다.$2^{11213}-1$$2^{23209}-1$$2^{44497}-1$$2^{23209}-1$$2^{44497}-1$$2^{110503}-1$

실제로 이들은 최대 2 개의 32 개의 파라미터 세트 (즉, 독립 스트림) 를 생성 하는 MTGPDC 도구 를 제공합니다 .$2^{32}$

이 알고리즘은 Diehard 및 NIST와 같은 주요 임의성 테스트를 통과합니다.

arXiv : 그래픽 프로세서에 적합한 Mersenne Twister의 변형 에 대한 예비 문서도 제공됩니다.

이 문제를 해결하는 방법은 여러 가지가 있지만 Blum Blum Shub PRNG 를 사용하는 간단한 방법이 있습니다 . 이 PRNG는 재귀 관계 의해 정의되며 , 여기서 N 은 반 프라임입니다. 이것에서 임의의 비트를 얻으려면 단순히 x i 의 비트 패리티를 취할 수 있습니다 . 이것에 대한 좋은 점은 x i + k = x 2 k i  mod  N = x 2 k  mod  λ ( N )$x_{i+1} = x_i^2 \mbox{ mod }N$$N$$x_i$ 모듈 식 지수에 사용하는 곱셈 알고리즘에 따라 k (즉, O ( log ( N ) 3 ) 이상인시간 상수의 모든 단계를 직접 계산할 수 있습니다. 따라서 M 기계가 있고 y로 색인을 생성 한 기계의경우 발전기 x i + 1 , y = x 2 M mod  λ ( N ) i  mod  N을 사용할 수 있습니다 . 여기서 x 0 , y = $x_{i+k} = x_i^{2^k}\mbox{ mod }N = x_i^{2^k \mbox{ mod } \lambda(N)}\mbox{mod }N$$k$$O(\log(N)^3)$$M$$y$$x_{i+1,y} = x_i^{2^M \mbox{mod }\lambda(N)}\mbox{ mod }N$여기서x0은 시드입니다. 편리하게 이것은 단일 스트림을 사용하여 차례로 각 머신에 출력하는 것과 동일한 수의 스트림을 생성합니다.$x_{0,y} = x_0^{2^y \mbox{ mod }\lambda(N)}\mbox{ mod }N$$x_0$

이것은 PRNG 중에서 가장 빠르지는 않으므로 시뮬레이션에서 수행하는 작업의 오버 헤드가 PRNG 비용보다 훨씬 큰 경우에만 유용합니다. 그러나 훨씬 더 빨리 특정 조합 될 것이라고 지적 가치가 과 N 의 이진 표현하는 경우 특히 다른 사람보다 2 M  모드  λ ( N은 ) 몇 초를 포함하거나 작다.$M$$N$$2^M \mbox{ mod }\lambda(N)$

전처리 단계는 어떻습니까? 임의의 씨앗을 감안할 때 (크기의 N ), 실행 X 크기의 의사 스트림을 얻기 위해 1000 N을 . 이 스트림을 s 1 , s 2 , … , s 1000으로 나타내십시오 . 여기서 1 ≤ i ≤ 1000의 경우 s i 는 크기 n 스트림의 연속적인 부분입니다 .$s$$n$$X$$1000n$$s_1,s_2,\ldots,s_{1000}$$1\le i \le 1000$$s_i$$n$

이 전처리 단계는 가 효율적인 PRNG 라는 사실을 감안할 때 매우 낮은 오버 헤드로 수행 할 수 있습니다 (오늘날 PRNG가 매우 빠름).$X$

이제 를 i 번째 머신 의 시드로 지정하십시오.이 머신은 X 를 사용하여 자체 의사 난수 스트림을 생성합니다.$s_i$$i$$X$

의 좋은 특성을 감안할 때 하지 않는 한, 의는 알려진 어떤을 위해, 1 ≤ 나는 < J ≤ 1000 , 씨앗 의 난 과 의 j는 계산 독립적이다. 또한 하나의 작은 시드 (예 : s ) 만 생성하고 저장하면됩니다 . 따라서이 접근 방식에는 많은 양의 진정한 임의성 또는 스토리지가 필요하지 않습니다.$X$$s$$1 \le i < j \le 1000$$s_i$$s_j$$s$

$f$$M = 1000$$\{ 0, 1, \ldots, M - 1 \}$$j$$i$$f(i + jM)$$M$

모든 프로세스에서 암호화 RNG를 제공하지만 성능 비용이 반드시 필요한 것은 아닙니다. 하드웨어를 지원하면 AES가 빠르며 ChaCha는 빠릅니다. 물론 특정 설정에서이 값을 측정해야합니다.

$f$

SFMT (빠른 Mersenne Twister 구현)를 위한 점프 기능 이 있습니다 .

이렇게하면 사이클 겹침이 없도록 1000 MT를 초기화 할 수 있습니다. SFMT는 MTGP보다 빠릅니다. 내 목적에 거의 완벽합니다.

다른 시드로 초기화 된 Mersenne Twister 인스턴스를 1000 개만 사용할 수 있습니다.

다른 Mersenne Twister 또는 OS 암호화 의사 난수 생성기 (Linux의 / dev / urandom)에서 독립성을 확인하기 위해 시드를 샘플링 할 수 있습니다.

Mersenne Twister는 항상 동일한 순환 시퀀스에서 작동하며, 시드는 생성주기를 제어합니다. 독립적으로 샘플링 된 시드를 사용하면 각 생성기는 교차 가능성이 매우 낮은 다른 일반적으로 매우 먼 지점에서 시작합니다.