로지스틱 회귀와 신경망의 차이점은 무엇입니까?

통계적 배경 지식이없는 청중에게 로지스틱 회귀 분석과 신경망의 차이점을 어떻게 설명 할 수 있습니까?

나는 당신이 예전의 것을 생각하고 있다고 생각하며, 아마도 신경망에 관한 당신의 질문에서 여전히 '다층 퍼셉트론'이라고 불립니다. 그렇다면 설명 변수의 함수로 의사 결정 경계의 형태에 대한 유연성 측면에서 모든 것을 설명하겠습니다 . 특히,이 청중들에게는 링크 함수 / 로그 확률 등은 언급하지 않을 것입니다. 사건의 확률이 일부 관측에 기초하여 예측되고 있다는 생각을 유지하십시오.

가능한 순서는 다음과 같습니다.

• 개념적으로 말하면 예상 확률이 무엇인지 알아야합니다. 친숙한 데이터와 관련하여 하나의 변수 함수로 표시하십시오 . 로지스틱 회귀 및 신경망이 공유 할 의사 결정 컨텍스트를 설명하십시오.
• 로지스틱 회귀로 시작하십시오. 이것이 선형 사례이지만 두 가지 설명 변수 가있는 출력 확률의 열 또는 등고선 플롯을 사용하여 결과 결정 경계의 선형성을 나타냅니다 .
• 두 클래스는 그들이 보는 경계로 잘 분리되지 않을 수 있으며 더 유연한 경계를 만들기 위해보다 유연한 모델을 동기 부여합니다. 필요한 경우 이런 방식으로 잘 구별 될 수있는 일부 데이터를 표시하십시오. (2 개의 변수로 시작하는 이유입니다)
• 추가 선형 항 (예 : 정사각형 또는 기타 변환)을 사용하여 원래 선형 모형을 복잡하게 만들 수 있으며 이러한 모형이 생성하는 경계를 표시 할 수 있습니다.
• 그러나 함수 형식이 무엇인지 미리 알지 못하고 데이터에서 배우기를 선호한다는 것을 관찰하면서이를 버립니다. 그들이 이것에 대해 열의를 가지고있는 것처럼, 이것의 완전한 일반성에서 불가능하다는 것에 주목하고, 그것이 최소한 '고르지 않은'보다는 '매끄러운'이어야하지만 그렇지 않으면 데이터에 의해 결정된다고 생각하면 기쁘다 고 제안합니다. (그들은 평생 산문을하는 것과 같은 방식으로 이미 부드러운 경계 만 생각하고 있다고 주장한다 ).
• 출력 확률이 실제 첨가 조합이 아닌 원래 변수 쌍의 결합 함수 인 일반화 된 첨가 모델의 출력을 보여주십시오. 이것은 단지 데모 용입니다. 중요하고 훌륭하고 일반적이며 사물을 직관적으로 설명하기 때문에 더 부드럽게 부릅니다 . 이전과 같이 그림에서 비선형 결정 경계를 보여줍니다.
• 이 (현재 익명의) 스무더는 실제로 얼마나 부드러운지를 제어하는 ​​스무딩 매개 변수를 가지고 있습니다. 설명 변수를 예측 확률로 바꾸는 함수의 부드러움에 대한 사전 믿음과 같은 것으로 통과하는 것을 참조하십시오. 의사 결정 경계에서 다른 부드러움 설정의 결과를 표시 할 수 있습니다.
• 이제 신경망을 다이어그램으로 소개하십시오. 두 번째 레이어는 로지스틱 회귀 모델 일뿐 아니라 숨겨진 단위에서 발생하는 비선형 변환도 지적합니다. 관객에게 이것은 결정 경계에서 비선형적인 입력에서 출력까지의 또 다른 기능이라는 것을 상기 시키십시오.
• 매개 변수가 많고 일부는 매끄러운 결정 경계를 만들기 위해 제한되어야합니다. 매끄러움을 제어하는 ​​숫자 와 동일한 (개념적으로 말하면) 숫자 로 아이디어를 다시 도입 하여 매개 변수를 묶어두고 멀리 유지하십시오. 극단적 인 가치. 또한 숨겨진 유닛이 많을수록 더 다양한 유형의 기능 형태를 실현할 수 있습니다. 직관을 유지하기 위해 유연성과 매개 변수 제약 측면에서 숨겨진 단위에 대해 평활도 측면에서 이야기하십시오 (이 특성화의 수학적 결함에도 불구하고).
• 그럼 당신이 원하는, 그래서 여전히 함수 형태를 알 수 없기 때문에 주장으로 그들을 놀라게 무한 숨겨진 단위의 무한한 수를 추가하여 유연성. 이 싱크의 실제적인 불가능을 조금 보자. 그런 다음 수학 에서이 한계를 취할 수 있음을 관찰하고 그러한 것들이 어떻게 보일지 (수사적으로) 물어보십시오.
• 이전에 본 것과 같이 다시 매끄럽게 될 것입니다 (가우스 프로세스가 발생합니다. Neal, 1996,이 세부 사항은 중요하지 않습니다). 매끄러움을 제어하지만 다른 특정 매개 변수가없는 수량이 다시 있음을 관찰하십시오 (이러한 종류에 관심이있는 사람들을 위해 통합되어 있음).
• 신경망은 로지스틱 회귀 모델의 부가적인 확장 일 필요는없는 비선형적인 평 활기의 특정한, 암시 적으로 제한적인 구현으로 결론을 내린다. 로지스틱 회귀는 신경망 모델과 동등하거나 평활화 매개 변수가 '매우 여분의 평활'즉 선형 인 것으로 설정된 평활도와 같다는 결론을 다른 방식으로 수행하십시오.

이 방법의 장점은 정확한 아이디어를 제공하기 위해 수학적 세부 정보를 얻을 필요가 없다는 것입니다. 실제로 그들은 유사성과 차이점을 이해하기 위해 로지스틱 회귀 분석이나 신경망을 이해할 필요가 없습니다.

이 접근 방식의 단점은 많은 그림을 만들어야하며 대수학에 빠지려는 유혹에 강하게 저항하여 사물을 설명해야한다는 것입니다.

더 간단한 요약 :

로지스틱 회귀 : 가장 단순한 형태의 신경망으로, 결정 경계가 직선 인 결과

신경망 : 로지스틱 회귀 및보다 복잡한 결정 경계를 생성 할 수있는 다른 분류기를 포함하는 수퍼 세트.

(참고 : 통합 커널의 도움없이 "일반"로지스틱 회귀 분석을 참조하고 있습니다)

(참고 : Andrew Ng의 deeplearning.ai 과정, "신경망으로서의 로지스틱 회귀"및 "하나의 숨겨진 레이어를 사용한 평면 데이터 분류")

나는 문자 그대로 질문을 할 것입니다 : 통계에 배경 이 없는 사람 . 그리고 나는 그 사람에게 통계의 배경을 주려고하지 않을 것입니다. 예를 들어, 회사의 CEO 또는 이와 유사한 점의 차이점을 설명해야한다고 가정하십시오.

로지스틱 회귀는 범주 형 변수를 다른 변수로 모델링하기위한 도구입니다. 각 "기타"변수의 변경이 첫 번째 변수의 다른 결과 확률에 어떤 영향을 미치는지 확인할 수있는 방법을 제공합니다. 결과는 해석하기가 매우 쉽습니다.

신경망은 인간이 사물에 대해 배우는 방식과 모호한 방식으로 컴퓨터가 예제를 통해 학습하도록하는 일련의 방법입니다. 좋은 예측 변수 인 모델이 될 수 있지만 일반적으로 로지스틱 회귀 분석의 모델보다 훨씬 더 불투명합니다.

신경망 (물류 활성화 기능 포함)을 가중치 자체가있는 로짓 기능의 가중 평균으로 생각할 수 있다고 배웠습니다. 다수의 로짓을 선택하면 모든 기능 형태에 맞출 수 있습니다. Econometric Sense 블로그 게시물 에 그래픽 직관이 있습니다 .

다른 답변은 훌륭합니다. 로지스틱 회귀 및 다중 클래스 로지스틱 회귀 (일명 최대, 다항 로지스틱 회귀, 소프트 맥스 회귀, 최대 엔트로피 분류기)를 신경망의 특수 아키텍처로 생각할 수 있음을 보여주는 그림을 간단히 추가합니다.

에서 세바스찬 Raschka, 미시간 주립 대학, KDnuggets에 :

멀티 클래스 로지스틱 회귀 분석에 대한 몇 가지 예 :

http://www.deeplearningbook.org/ 1 장 에서 가져온 비슷한 그림 1

그리고 TensorFlow 튜토리얼 에서 하나 더 :

예를 들어 Caffe 에서는 다음과 같이 로지스틱 회귀 를 구현 합니다 .

나는 청중이 이해하는 복잡하지만 구체적인 문제의 예를 사용할 것이다. 해석이 훈련되지 않았지만 특별한 의미가있는 숨겨진 노드를 사용하십시오.

$64 \times 12$

선형 회귀 분석은 h4에 백기사가있는 것이 얼마나 좋은지를 결정합니다. 그것이 좋은지 분명하지는 않지만 h4에 있으면 캡처되지 않았으며 다른 고려 사항보다 중요합니다. 선형 회귀는 아마도 조각의 대략적인 값을 복구하며 조각을 보드 중앙과 보드의 반대쪽에 두는 것이 좋습니다. 선형 회귀는 상대 왕이 a1에 있다면 b2의 여왕이 갑자기 더 가치가있는 것처럼 조합의 가치를 평가할 수 없습니다.

신경망은 "물질 우위", "블랙 킹 안전", "중심 제어", "d- 파일의 두 루크", "고립 된 여왕 루크 폰"또는 "주교와 같은 개념에 대한 숨겨진 노드를 가질 수 있습니다. 유동성." 이들 중 일부는 보드 입력만으로 추정 할 수있는 반면, 다른 일부는 두 번째 이후의 숨겨진 계층에 있어야 할 수도 있습니다. 신경망은이를 위치의 최종 평가에 대한 입력으로 사용할 수 있습니다. 이러한 개념은 전문가가 위치를 평가하는 데 도움이되므로 신경망은 선형 회귀보다 더 정확한 평가를 수행 할 수 있어야합니다. 그러나 구조를 선택해야하고 훈련 할 더 많은 매개 변수가 있으므로 신경망을 작성하는 데 더 많은 작업이 필요합니다.