신경망의 데이터 정규화 및 표준화

신경망 (ANN)을 사용하여 복잡한 시스템의 결과를 예측하려고합니다. 결과 (종속) 값의 범위는 0에서 10,000 사이입니다. 입력 변수마다 범위가 다릅니다. 모든 변수는 대략 정규 분포를 갖습니다.

훈련 전에 데이터를 확장하는 다른 옵션을 고려합니다. 한 가지 옵션은 각 변수의 평균 및 표준 편차 값을 독립적으로 사용하여 누적 분포 함수 를 계산 하여 입력 (독립) 및 출력 (종속) 변수를 [0, 1]로 스케일하는 것 입니다. 이 방법의 문제점은 출력에서 ​​시그 모이 드 활성화 기능을 사용하면 극단적 인 데이터, 특히 훈련 세트에서 볼 수없는 데이터를 놓칠 수 있다는 것입니다

또 다른 옵션은 z- 점수를 사용하는 것입니다. 이 경우 극단적 인 데이터 문제는 없습니다. 그러나 출력에서 ​​선형 활성화 기능으로 제한됩니다.

ANN과 함께 사용되는 다른 승인 된 정규화 기술은 무엇입니까? 이 주제에 대한 리뷰를 찾으려고했지만 유용한 정보를 찾지 못했습니다.

표준 접근법은 입력을 평균 0과 분산 1로 스케일링하는 것입니다. 선형 역 상관 / 미백 / pca도 많은 도움이됩니다.

거래의 기술에 관심이 있으시면 LeCun의 효율적인 백프로 프 용지를 추천 해드립니다 .

1- 최소-최대 정규화는 스케일링 계수를 제외하고 원래의 점수 분포를 유지하고 모든 점수를 공통 범위 [0, 1]로 변환합니다. 그러나이 방법은 강력하지 않습니다 (즉, 방법은 특이 치에 매우 민감합니다).

2- 표준화 (Z- 점수 정규화) 가장 일반적으로 사용되는 기술로, 주어진 데이터의 산술 평균 및 표준 편차를 사용하여 계산됩니다. 그러나 평균 및 표준 편차는 특이 치에 민감하며이 기법은 정규화 된 점수에 대해 일반적인 숫자 범위를 보장하지 않습니다. 또한 입력 점수가 가우스 분포가 아닌 경우이 기술은 출력에서 ​​입력 분포를 유지하지 않습니다.

3- 중앙값과 MAD : 중앙값과 중앙값 절대 편차 (MAD)는 특이 치와 분포의 극점에있는 점에 민감하지 않습니다. 따라서 강력합니다. 그러나이 기술은 입력 분포를 유지하지 않으며 점수를 일반적인 숫자 범위로 변환하지 않습니다.

4- tanh-estimators : Hampel et al.에 의해 도입 된 tanh-estimators. 강력하고 매우 효율적입니다. 정규화는

여기서 μGH와 σGH는 각각 Hampel Estimator가 제공 한 실제 점수 분포의 평균 및 표준 편차 추정치입니다.

따라서 tanh-estimators를 권장합니다.

참조 https://www.cs.ccu.edu.tw/~wylin/BA/Fusion_of_Biometrics_II.ppt

여기 비슷한 대답을했다 당신은 당신의 예측 변수를 중심으로해야한다 & 당신이 그들을 때를 표준화해야 할 때, 다중 회귀 분석을 수행 할 때? 그러나 대답이 여기에 갈 수 있다는 것은 충분히 다른 맥락이라고 생각했습니다.

훌륭한 유즈넷 리소스가 있습니다 http://www.faqs.org/faqs/ai-faq/neural-nets/part2/section-16.html

데이터를 정규화 / 표준화 / 축척하려는 경우 몇 가지 문제와 고려 사항을 간단히 말해줍니다. 머신 러닝 관점에서 주제를 다루고 귀하의 질문이 ML이므로 주제와 관련이있을 수 있습니다.

넌 할 수있어

• 최소-최대 정규화 (입력 / 대상을 [-1,1] 범위에 있도록 정규화) 또는
• 평균 표준 편차 정규화 (평균 및 단일 분산 / 표준 편차가 없도록 입력 / 대상을 정규화)

당신이 작업하는 경우 python, sklearn이 이 일을하는 방법을 자신에 사용하는 다른 기술을 preprocessing(자신의 문서의 예와 플러스 멋진 파이프 라인 기능) 모듈 :

import sklearn

# Normalize X, shape (n_samples, n_features)
X_norm = sklearn.preprocessing.normalize(X)

[0,1]이 표준 접근법입니다. 신경망의 경우 0-1 범위에서 가장 잘 작동합니다. Min-Max 스케일링 (또는 정규화)이 따라야합니다.

이제 특이 치에서 대부분의 시나리오에서 특이 치를 탐지하지 않아도되므로 특이 치가 모델에 영향을 미치지 않기를 원합니다 (변칙 탐지가 해결하려는 문제가 아닌 한). 경험적 규칙 68-95-99.7을 기준으로 클립하거나 상자 그림을 만들어 관찰하고 그에 따라 클립 할 수 있습니다.

MinMax 공식- (xi - min(x)) / (max(x) - min(x)) 또는 사용할 수 있습니다sklearn.preprocessing.MinMaxScaler

"허용됨"은 귀하에게 가장 적합한 방법입니다. 그런 다음 수락하십시오.

필자의 경험에 따르면 Johnson 배포판에서 각 연속 피처로의 분포를 적합하게 분배하면 분포가 매우 유연하고 대부분의 단일 모달 피처를 표준 정규 분포로 변환 할 수 있기 때문에 잘 작동합니다. 멀티 모달 기능에도 도움이되지만, 일반적으로 기능을 가장 바람직한 형태로 만듭니다 (표준 가우시안 분산 데이터는 작업하기에 이상적입니다. 대부분의 경우 호환 가능하고 때로는 최적) 통계 / ML 방법 이용 가능).

http://qualityamerica.com/LSS-Knowledge-Center/statisticalinference/johnson_distributions.php