신경망에 난수 생성기의 출력을 공급하고 해싱 (또는 생성기) 기능을 익힐 것으로 기대하여 다음에 생성되는 의사 난수 가 무엇인지 예측할 수 있습니까?
이와 같은 것이 이미 존재합니까? 이 또는 이와 관련하여 (의사 난수의 예측과 관련하여) 이미 연구가 완료된 사람이라면 누구나 올바른 리소스를 알려줄 수 있습니까?
현재이 라이브러리와 관련 링크를보고 있습니다. https://github.com/Vict0rSch/deep_learning/tree/master/keras/recurrent
답변:
우리는 완벽한 RNG에 대해 이야기하는 경우, 대답은 분명하다 아니오 . 진정한 난수를 예측하는 것은 불가능합니다. 그렇지 않으면 진정으로 난수가 아닙니다.
의사 RNG에 대해 이야기 할 때 상황이 약간 변경됩니다. PRNG의 품질에 따라 문제는 쉬운 것에서 거의 불가능한 것까지 다양합니다. XKCD가 발표 한 것과 같이 매우 약한 PRNG는 훈련이 거의없는 신경망에 의해 쉽게 예측 될 수 있습니다. 그러나 실제로는 상황이 다르게 보입니다.
신경망은 다음 비트를 예측하기 위해 PRNG에 의해 생성 된 난수 이력에서 특정 패턴을 찾도록 훈련 될 수있다. PRNG가 더 강할수록 PRNG에 의해 생성 된 사전 임의성 비트마다 하나의 뉴런을 사용한다고 가정하면 더 많은 입력 뉴런이 필요합니다. PRNG가 예측할 수 없을수록 패턴을 찾기 위해 더 많은 데이터가 필요합니다. 강력한 PRNG의 경우 이는 불가능합니다.
긍정적으로, PRNG를 제어하고 원하는 수의 난수를 생성 할 수 있다고 가정하면 신경망에 대해 임의의 양의 훈련 패턴을 생성 할 수 있습니다.
현대의 PRNG는 암호화의 핵심 구성 요소이기 때문에 이러한 예측 공격을 견딜 수있는 "무작위"인지 확인하기 위해 광범위한 연구가 수행되었습니다. 따라서 현재 사용 가능한 계산 리소스로는 신경망을 구축하여 암호화에 안전한 것으로 간주되는 PRNG를 성공적으로 공격 할 수 없습니다.
또한 암호화를 깨기 위해 PRNG의 출력을 정확하게 예측할 필요는 없습니다. 구현을 크게 약화시키기 위해서는 확실하게 50 %를 약간 넘는 다음 비트를 예측하는 것으로 충분할 수 있습니다. 따라서 성공률이 55 % 인 PRNG (암호화 보안으로 간주)의 다음 비트를 예측하는 신경망을 구축 할 수 있다면 보안 뉴스 헤드 라인을 꽤 오랫동안 만들 수있을 것입니다.
기계 학습에 대한 완전한 초보자이기 때문에이 실험을 수행했습니다 (Scikit-learn 사용).
python random.choices 함수를 사용하여 90 개 중 N 개의 숫자를 선택하여 많은 수의 의사 랜덤 추출을 생성했습니다.
다음과 같이 구성된 교육 데이터를 사용하여 MLP 분류기를 훈련했습니다.
실제로, 나는 N 개의 숫자를 부여하고, 다음 숫자를 예측하는 함수를 목표로 삼았습니다.
훈련 된 분류 자에게 나머지 숫자를 예측하도록 요청했습니다.
결과 :
물론, 분류자는 신경망을 기반으로하지 않는 임의의 추측 또는 다른 기술과 비교할만한 승리 점수를 얻었습니다 (나는 scikit-learn 라이브러리에서 사용 가능한 여러 분류기와 결과를 비교했습니다)
그러나 특정 분포 함수를 사용하여 의사 랜덤 추첨 추출을 생성하면 신경망에 의해 예측 된 숫자는 대략 같은 분포 곡선으로 생성됩니다 (임의의 숫자와 신경망 예측의 발생을 플롯하면, 예측 곡선에서 많은 스파이크가 있더라도 두 가지가 동일한 경향을 가지고 있음을 알 수 있습니다.
훈련 세트의 크기를 특정 한계 아래로 줄이면 분류 기가 의사 난수 생성에서 가장 빈번하게 발생하는 동일한 수를 항상 예측하기 시작합니다. 이상하게도이 행동은 승리 점수를 약간 높이는 것 같습니다.
오래된 질문이지만 실용적인 답이 하나 있다고 생각합니다. 나는 그러한 신경망을 구축하는 방법에 대한 가이드를 보았을 때 바로 우연히 만났고, 예를 들어 파이썬의 randint의 메아리를 보여주었습니다 . 자세한 설명이없는 최종 코드는 다음과 같습니다. 링크가 오프라인 상태가되는 경우 여전히 간단하고 유용합니다.
from random import randint
from numpy import array
from numpy import argmax
from pandas import concat
from pandas import DataFrame
from keras.models import Sequential
from keras.layers import LSTM
from keras.layers import Dense
# generate a sequence of random numbers in [0, 99]
def generate_sequence(length=25):
return [randint(0, 99) for _ in range(length)]
# one hot encode sequence
def one_hot_encode(sequence, n_unique=100):
encoding = list()
for value in sequence:
vector = [0 for _ in range(n_unique)]
vector[value] = 1
encoding.append(vector)
return array(encoding)
# decode a one hot encoded string
def one_hot_decode(encoded_seq):
return [argmax(vector) for vector in encoded_seq]
# generate data for the lstm
def generate_data():
# generate sequence
sequence = generate_sequence()
# one hot encode
encoded = one_hot_encode(sequence)
# create lag inputs
df = DataFrame(encoded)
df = concat([df.shift(4), df.shift(3), df.shift(2), df.shift(1), df], axis=1)
# remove non-viable rows
values = df.values
values = values[5:,:]
# convert to 3d for input
X = values.reshape(len(values), 5, 100)
# drop last value from y
y = encoded[4:-1,:]
return X, y
# define model
model = Sequential()
model.add(LSTM(50, batch_input_shape=(5, 5, 100), stateful=True))
model.add(Dense(100, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['acc'])
# fit model
for i in range(2000):
X, y = generate_data()
model.fit(X, y, epochs=1, batch_size=5, verbose=2, shuffle=False)
model.reset_states()
# evaluate model on new data
X, y = generate_data()
yhat = model.predict(X, batch_size=5)
print('Expected: %s' % one_hot_decode(y))
print('Predicted: %s' % one_hot_decode(yhat))
방금 시도했지만 실제로 잘 작동합니다! 오래된 느린 넷북에서 몇 분만 걸렸습니다. 위의 링크와 다른 내 자신의 결과가 있으며 일치가 완벽하지 않다는 것을 알 수 있으므로 종료 기준이 너무 관대하다고 생각합니다.
...
- 0s - loss: 0.2545 - acc: 1.0000
Epoch 1/1
- 0s - loss: 0.1845 - acc: 1.0000
Epoch 1/1
- 0s - loss: 0.3113 - acc: 0.9500
Expected: [14, 37, 0, 65, 30, 7, 11, 6, 16, 19, 68, 4, 25, 2, 79, 45, 95, 92, 32, 33]
Predicted: [14, 37, 0, 65, 30, 7, 11, 6, 16, 19, 68, 4, 25, 2, 95, 45, 95, 92, 32, 33]
psuedo 난수 생성기가 숫자를 버릴 경우 이러한 숫자를 분석 할 때 숫자가 난수가 아니기 때문에 해당 알고리즘에 의해 결정되고 우연이 아니기 때문에 숫자를 생성 한 알고리즘을 결정할 수 있습니다. 세계가 물리적 법칙으로 구성되어 있다면 사건에서 우리가 관찰하는 명백한 무작위성보다 이해하고 복제 할 수 있습니다. 의사 생성기는 더 이상 존재하지 않으며, 그 정의로부터 결정 불가능한 실제 무작위성이며 역설을 제시한다. 우리가 관찰 한 사건의 무작위성에 대한 명백한 인식이 규칙에 의해 어떻게 무작위성을 만들어내는가는 암시이며 실제로 우리가 예측할 수없는 확실성입니다.
Demento가 말한 것 외에도 난수 생성 알고리즘의 임의성 정도가 주요 문제입니다. 다음은 RNG를 약화시킬 수있는 몇 가지 디자인입니다.
은닉 시퀀스
생성 된 이전의 몇 가지 문자 시퀀스를 가정하십시오.
lwjVJA
Ls3Ajg
xpKr+A
XleXYg
9hyCzA
jeFuNg
JaZZoA
처음에는 세대의 패턴을 볼 수 없지만 Base64 인코딩으로 변경 한 다음 16 진수로 변경하면 다음과 같은 결과가 나타납니다.
9708D524
2ECDC08E
C692ABF8
5E579762
F61C82CC
8DE16E36
25A659A0
이제 이전 숫자에서 각 숫자를 빼면 다음과 같이됩니다.
FF97C4EB6A
97C4EB6A
FF97C4EB6A
97C4EB6A
FF97C4EB6A
FF97C4EB6A
이는 알고리즘이 0x97C4EB6A를 이전 값에 추가하고 결과를 32 비트 숫자로 자르고 Base64로 데이터를 인코딩 함을 나타냅니다.
위의 기본 예입니다. 오늘날의 ML 알고리즘 및 시스템은보다 복잡한 패턴을 학습하고 예측할 수 있습니다.
시간 의존성
일부 RNG 알고리즘은 시간을 난수 생성을위한 주요 입력 으로 사용 합니다. 특히 개발자가 응용 프로그램 내에서 사용하기 위해 생성 한 것입니다.
확률이 낮은 것으로 보이는 약한 RNG 알고리즘이 구현 될 때마다 충분한 데이터 세트를 사용할 수있는 경우 완벽한 정확도 로 앞뒤로 외삽 할 수 있습니다.