바이어스-분산 트레이드 오프 및 최적화 수단에 대한 질문

예를 들어, 높은 편향 또는 높은 분산으로 인해 발생하는 문제에 직면했을 때 구축하려는 모델을 어떻게 최적화 할 수 있는지 궁금합니다. 물론, 정규화 매개 변수를 사용하여 만족스러운 결과를 얻을 수 있지만 정규화에 의존하지 않고이를 수행 할 수 있는지 궁금합니다.

b가 모형의 편차 추정값이고 분산의 v가 b * v를 최소화하는 것이 타당하지 않습니까?

편견과 분산을 최소화 할 수있는 방법에는 여러 가지가 있으며, 대중적인 의견에도 불구하고 항상 상충 관계는 아닙니다.

높은 바이어스 의 두 가지 주요 이유 는 훈련 단계가 완료되지 않았기 때문에 모델 용량 이 부족 하고 적합 하지 않은 것입니다. 예를 들어, 해결하기에 매우 복잡한 문제 (예 : 이미지 인식)가 있고 저용량 모델 (예 : 선형 회귀)을 사용하는 경우이 모델은 모델의 복잡성을 파악할 수 없기 때문에 높은 편향을 갖습니다. 문제.

분산 이 높은 주된 이유 는 훈련 세트에 과적 합 하기 때문입니다 .

ML 모델에서 바이어스와 분산 을 줄이는 방법이 있습니다. 예를 들어이를 달성하는 가장 쉬운 방법은 더 많은 데이터를 얻는 것입니다 (일부 경우에는 합성 데이터 도움말).

실제로 우리가하는 일은 :

• 먼저 훈련 세트 의 편차 를 최대한 줄이기 위해 모델의 용량을 늘 립니다. 다시 말해, 모델 초과 적합 (훈련 세트에서 0의 손실에 도달하더라도) 을 만들고 싶습니다 . 이는 모델이 데이터를 충분히 이해하는 능력 을 갖기를 원하기 때문에 수행됩니다 .

• 그런 다음 편견 을 줄이려고 노력합니다 . 이는 정규화 ( 조기 중지 , 규범 위약금 , 탈락 등)를 통해 이루어집니다 .