«hyperparameter» 태그된 질문

내가 구현 한 가우시안 프로세스 회귀 알고리즘의 하이퍼 매개 변수를 조정하려고합니다. 수식 여기서 K 는 다음과 같은 공분산 행렬입니다. 요소 K_ {ij} = k (x_i, x_j) = b ^ {-1} \ exp (-\ frac {1} {2} (x_i-x_j) ^ TM (x_i-x_j)) + a ^ {-1 } \ delta_ {ij} 여기서 M …

13 regression  optimization  gaussian-process  hyperparameter 

확률 적 경사 하강을 수행 할 때 미니 배치 크기 선택을 검토하는 문헌이 있습니까? 내 경험상, 그것은 일반적으로 교차 검증 또는 다양한 경험 규칙을 통해 발견되는 경험적 선택 인 것 같습니다. 유효성 검사 오류가 감소함에 따라 미니 배치 크기를 천천히 늘리는 것이 좋습니까? 이것이 일반화 오류에 어떤 영향을 미칩니 까? …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

데이터의 계층 모델에서 여기서 는 실제로 통상적으로 나타나는 값 (선택했다 평균과 감마 분포의 편차는 대략 평균 및 상기 데이터의 변화와 일치하도록 (예를 들어, 클레이튼 및 Kaldor 1987 "은 경험적 베이 즈 질병 매핑 연령 표준화 상대 위험 추정치" 생체 인식 ). 그러나 이것은 매개 변수 대한 연구원의 신뢰를 과장하기 때문에 …

11 poisson-distribution  gamma-distribution  hierarchical-bayesian  hyperparameter 

나는 매우 인기있는 논문 인 " EXLAINING AND HARNESSING ADVERSARIAL EXAMPLES "를 구현하고 있었고 논문에서 적대적인 목적 함수를 훈련시켰다. J ''(θ) = αJ (θ) + (1-α) J '(θ). α를 하이퍼 파라미터로 취급합니다. α는 0.1, 0.2, 0.3 등이 될 수 있습니다. 이 특정 논문에 관계없이 α를 매개 변수에 포함시키고 최고의 α를 …

11 machine-learning  neural-networks  deep-learning  hyperparameter 

신경망의 깊이와 학습률 사이에 경험의 규칙이 있습니까? 네트워크가 깊을수록 학습률이 낮아야한다는 것을 알았습니다. 맞다면 왜 그럴까요?

10 neural-networks  deep-learning  hyperparameter  rule-of-thumb 

나는 종종 사람들이 5x2 교차 유효성 검사에 대해 중첩 된 교차 유효성 검사 의 특별한 경우를 봅니다. 첫 번째 숫자 (여기서는 5)는 내부 루프의 접기 수를 나타내고 두 번째 숫자 (여기서는 2)는 외부 루프의 접기 수를 나타냅니다? 그렇다면 이것이 "전통적인"모델 선택 및 평가 방식과 어떻게 다릅니 까? "전통적인"이라는 말은 데이터 …

10 machine-learning  cross-validation  hyperparameter 

현재 능선 회귀를 배우고 더 복잡한 모델의 처벌 (또는 더 복잡한 모델의 정의)에 대해 약간 혼란 스러웠습니다. 내가 이해 한 바에 따르면, 모델의 복잡성이 다항식과 반드시 ​​관련이있는 것은 아닙니다. 따라서 는 보다 더 복잡한 모델입니다.2 + 3 + 4엑스2+ 5엑스삼+ 6엑스42+삼+4엑스2+5엑스삼+6엑스4 2 + 3+ 4x^2 + 5x^3 + 6x^45엑스55엑스5 5x^5 …

9 regression  regularization  hyperparameter 

François Chollet의 Python을 사용한 딥 러닝에서는 다음과 같이 말합니다. 결과적으로 유효성 검증 세트의 성능을 기반으로 모델 구성을 조정하면 모델을 직접 학습하지 않아도 신속하게 유효성 검증 세트에 과적 합할 수 있습니다. 이 현상의 핵심은 정보 유출 개념입니다. 유효성 검사 세트에서 모델의 성능을 기반으로 모델의 하이퍼 파라미터를 조정할 때마다 유효성 검사 데이터에 …

9 neural-networks  cross-validation  hyperparameter