다변량 선형 회귀 vs 신경망?

경우에 따라 다변량 선형 회귀 분석을 통해 신경망과 유사한 결과를 얻을 수 있으며 다변량 선형 회귀 분석이 매우 빠르고 쉽습니다.

어떤 상황에서 신경망은 다변량 선형 회귀보다 더 나은 결과를 제공 할 수 있습니까?

regression multiple-regression neural-networks

— 휴 퍼킨스
소스

답변:

신경망은 원칙적으로 비선형 성을 자동으로 모델링 할 수 있으며 ( 범용 근사 정리 참조 ) 선형 회귀 분석에서 변형 (스플라인 등)을 사용하여 명시 적으로 모델링해야합니다.

경고 : 숨겨진 층이나 뉴런을 추가하는 것은 무해 해 보이기 때문에 과적 합 (refit)에 대한 유혹은 회귀보다 신경망에서 더 강할 수 있습니다. 따라서 샘플 외부 예측 성능을 살펴 보는 데 특히주의하십시오.

— 콜라 사
소스

승인. 제 생각에는 2 차 및 3 차 항으로 입력 데이터를 늘려서 비슷한 행동을 어느 정도까지 재현 할 수 있을까요?

— 휴 퍼킨스

실제로 선형 회귀 분석에서 원하는대로 적절하게 변환 된 회귀 분석을 사용하여 NN에 근접 할 수 있으며 그 반대도 마찬가지입니다. 그래도 2 차 및 입방체보다 더 나은 연습이 스플라인입니다. 저는 Harrell의 교과서 "Regression Modeling Strategies"를 진심으로 추천합니다.

— S. Kolassa-복원 Monica Monica

승인. 변환 된 데이터에 대한 선형 회귀 분석에 대해 훈련 시간이 더 빠르거나 훈련 시간이 거의 비슷하다고 가정하는 것이 합리적입니까? 변환 된 데이터에 대한 선형 회귀 솔루션이 단일 전역 최대 값을 갖거나 신경 네트워크와 같이 로컬 최소값이 많습니까? (편집 : 입력이 어떻게 변환 되든 선형 회귀에 대한 솔루션은 디자인 매트릭스의 의사 역수에 무언가를 곱한 값이므로 항상 고유하거나 특이한 것입니까?)

— Hugh Perkins

훈련 시간은 물론 입력 차원 (몇몇 / 많은 관측치, 몇 / 많은 예측 인자)에 달려 있습니다. 선형 회귀에는 단일 (의사) 역수가 포함됩니다 (예, 변환 된 회귀자가 보유하고 있어도 독창성 / 특이성) .NN은 일반적으로 반복적 인 방식으로 훈련되지만 반복에는 행렬 반전이 포함되지 않으므로 각 반복이 더 빠릅니다. 과적 합을 막기 위해 고안된 일부 기준에 따라 교육을 중단하십시오.

— S. Kolassa-복원 Monica Monica

@ 얌차 : 보편적 근사 정리에 대한 나의 이해는 원칙적으로 차원이 중요하지 않다는 것입니다. (물론 이것은 점근 적 결과입니다. NN이 미세 조정 다항식 회귀보다 낫기 위해서는 끔찍한 양의 데이터가 필요할 것으로 기대합니다. 딥 러닝처럼 들리기 시작합니다 ...)

— S. Kolassa-복원 Monica Monica

선형 회귀를 언급했습니다. 이것은 로지스틱 회귀 와 관련이 있으며 , 이는 유사한 빠른 최적화 알고리즘을 가지고 있습니다. 분류 문제와 같이 목표 값에 대한 경계가있는 경우 로지스틱 회귀 분석을 선형 회귀 일반화로 볼 수 있습니다.

$0$

$x^3$ $1-1$ $x^3$

하나의 중간 전략은 신경망을 초기화 할 때 발생하는 것과 유사한 다수의 임의 노드를 선택하고 입력-숨김 가중치를 수정하는 것입니다. *-출력 무게에 대한 최적화는 선형으로 유지됩니다. 이것을 익스트림 러닝 머신 이라고합니다 . 최소한 원래 로지스틱 회귀 분석뿐만 아니라 작동합니다.

— 더글러스 자레
소스

"중간 전략 중 하나는 신경망을 초기화 할 때 발생하는 것과 유사한 다수의 랜덤 노드를 선택하고 입력-숨김 가중치를 수정하는 것입니다. *-출력 가중치에 대한 최적화는 선형으로 유지됩니다." =>이 경우 솔루션에 대한 단일 글로벌 최대 값이 있음을 의미합니까?

— 휴 퍼킨스

무작위 숨겨진 노드의 일반적인 무작위 선택의 경우 예.

— Douglas Zare

훌륭한 게시물-[LR, LogR, NN, ELM]에 대한 컨텍스트 제공. 건너 뛰기 계층 NN 인 LogR에 대한 귀하의 의견은 지적 된 후에 명백해 보이지만 좋은 통찰력입니다.

— javadba

선형 회귀는 선형으로 분리 가능한 데이터를 분리하는 것을 목표로합니다. 예. 추가 3 차 다항식을 사용할 수 있지만 그런 식으로 목적 함수의 구조를 정의한 이후에 데이터에 대한 몇 가지 가정을 다시 나타냅니다. 신경망에서. 일반적으로 데이터에 대한 선형 구분 기호를 만드는 입력 레이어가 있고 숨겨진 레이어와 일부 클래스를 묶는 영역과 마지막 레이어 또는이 모든 영역을 숨기는 레이어가 있습니다. 이러한 방식으로 모든 데이터를 비선형 방식으로 분류 할 수 있으며 이러한 모든 프로세스는 내부적으로 학습 된 가중치 및 정의 된 기능으로 진행됩니다. 또한 선형 회귀의 피처 수를 늘리는 것은 "차원의 저주"와 반대됩니다. 또한 일부 응용 프로그램은 상수 출력보다 확률이 더 높은 결과가 필요합니다.

— 에로 골
소스