로지스틱 회귀 분석은 어떻게 전통적인 함수가 아닌 곡선을 만들 수 있습니까?

15

로지스틱 회귀 분석의 기능이 어떻게 작동하는지에 대한 근본적인 혼란이 있다고 생각합니다.

함수 h (x)가 이미지 왼쪽에 보이는 곡선을 어떻게 생성합니까?

이것이 두 변수의 플롯이지만이 두 변수 (x1 & x2)도 함수 자체의 인수입니다. 하나의 변수에 대한 표준 함수가 하나의 출력에 매핑되는 것을 알고 있지만이 함수는 분명히 그렇게하지 않습니다. 왜 그런지 확실하지 않습니다.

내 직감은 파란색 / 분홍색 곡선이 실제로이 그래프에 그려지지 않고 오히려 그래프의 다음 차원 (3)의 값에 매핑되는 표현 (원 및 X)이라는 것입니다. 이 추론에 결함이 있고 뭔가 빠졌습니까? 통찰력 / 직관에 감사드립니다.

logistic data-visualization function

— 샘
소스

8

축 라벨에주의, 통보 것을 둘 다 표시되지 않는

y

$y$ .

— Matthew Drury

3

"전통적인 기능"은 무엇입니까?

— whuber

@matthewDrury 이해합니다. 2D X / O에 대해 설명합니다. 플롯 된 커브가 어디에서 오는지 묻습니다

— Sam

19

다음은 두 가지 특징 가진 분류 모델의 경우 Andrew Ng 가 ML 의 Coursera 과정에 과적 합하는 예입니다 . 여기서 실제 값은 와 되며 결정 경계는 다음과 같습니다. 고차 다항식 용어를 사용하여 훈련 세트에 정확하게 맞 춥니 다. $(x_1, x_2)$ $\color{red}{\large \times}$ $\color{blue}{\large\circ},$

설명하려는 문제는 경계 결정 선 (파란색 곡선 선)이 예제를 잘못 분류하지는 않지만 훈련 세트에서 일반화 할 수있는 기능이 손상된다는 사실과 관련이 있습니다. 앤드류 응 (Andrew Ng)은 정규화가이 효과를 완화시킬 수 있다고 설명하고, 자홍색 곡선을 훈련 세트에 덜 엄격한 결정 경계로 그리고 일반화 할 가능성이 더 높다고 설명합니다.

특정 질문과 관련하여 :

내 직감은 파란색 / 분홍색 곡선이 실제로이 그래프에 그려지지 않고 오히려 그래프의 다음 차원 (3)의 값에 매핑되는 표현 (원 및 X)이라는 것입니다.

$(\large\times$ $\large\circ),$

h_{θ} (x) = g (θ_{0} + θ_{1} x_{1} + θ_{2} x_{2})

$h_\theta(x)=g\left(\theta_0 + \theta_1 \, x_1 + \theta_2 \, x_2 \right)$

결정 경계는 선형 적입니다.

아마도 다음과 같은 것을 염두에 두었을 것입니다.

5 + 2 x - 1.3 x^{2} - 1.2 x^{2} y + 1 x^{2} y^{2} + 3 x^{2} y^{3}

$5 + 2 x - 1.3 x^2 -1.2 x^2 y + 1 x^2 y^2 + 3 x^2 y^3$

$g(\cdot)$ $x_1$ $x_2$ $\large \times$ $\large($ $\large \circ).$ $(1,0)$

$(x_1,x_2)$ $\large \times$ $\large \circ$ $\color{red}{\large \times}$ $\color{blue}{\large \circ}$ $\large \times$ $\large \circ$ R- 블로거에 대한이 블로그 항목 ).

의사 결정 경계에 대한 Wikipedia 의 항목에 주목하십시오 .

두 클래스의 통계 분류 문제에서 결정 경계 또는 결정 표면은 기본 벡터 공간을 각 클래스마다 하나씩 두 세트로 분할하는 초 표면입니다. 분류자는 결정 경계의 한쪽에있는 모든 점을 한 클래스에 속하는 것으로 분류하고 다른쪽에있는 모든 점을 다른 클래스에 속하는 것으로 분류합니다. 결정 경계는 분류기의 출력 레이블이 모호한 문제 공간의 영역입니다.

$∈[0,1]),$

$3$

$y_1 = h_\theta(x)$ $\mathbf W$ $(\Theta)$ $\Theta$

여러 뉴런에 합류하면 이러한 분리 초평면을 더하고 빼서 변덕스러운 모양으로 만들 수 있습니다.

이것은 보편적 근사 정리에 연결됩니다 .

— 안토니 파렐 라다
소스

1

+1은 항상 답을 읽는 것을 즐깁니다. 의사 결정 평면이 플롯과 교차하도록 할 수 있다면 더 좋습니다. 위와 아래를 표시합니다.

— Haitao Du

정말 감사합니다. 나는 여전히 커브 자체에 대해 작은 것을 놓친 것처럼 느낍니다. 이것은 결정 경계가 실제로 "그리기"가 아니라 오히려 Andrew Ng가 x1 & x2의 값 임계 값을 나타내는 방법이라고 말하는 것입니다. 가설이 × 또는 ∘가되도록 하는가? 내 혼란의 일부는 그 곡선이 처음에 어떻게 함수가 될 수 있는지에 기인한다고 생각하지만 지금은 그렇지 않습니다.

— Sam

1

@AntoniParellada 이것은 대단합니다. 지금 구별이 보입니다. 도움을 주셔서 감사합니다.

— Sam

0

우리는이 질문에 답하는 중증 수학자들이 있습니다. 예측 변수 X1 및 X2의 값과 예측 된 양수를 예측 된 음수와 분리하는 '결정 경계'선이있는 여기에 묘사 한 다이어그램을 본 적이 없습니다. (또는 예측 결과와 실제 결과의 맵입니까?) 그러나 두 개의 관심있는 예측 변수 만 매핑하려는 경우 유용합니다.
자홍색 선은 예측 된 양의 값을 예측 된 음의 값과 분리하는 반면, 진한 파란색 선은 모든 양의 값을 포함합니다. 로지스틱 회귀 분석의 경우가 일반적입니다. 모형이 사례의 100 % 미만에 대한 결과를 정확하게 예측하고 일부 오탐 (false positive) 및 / 또는 오탐 (false negative)을 예측합니다.
로지스틱 회귀 분석을 실행하고 프로 시저가 데이터 세트의 각 개별 사례에 대해 함수 h (x)를 생성하도록 할 수 있습니다. 이렇게하면 모든 주제를 사용하는 로지스틱 회귀 모델을 기반으로 해당 주제의 예측 변수를 기반으로 각 주제에 대한 긍정적 결과의 예측 가능성 또는 확률을 제공하는 0에서 1까지의 각 주제에 대한 성향 점수가 생성됩니다. 성향 점수 컷오프가 0.5 이상인 경우 결과가있을 것으로 예상되며, 0.5 미만인 경우 결과가 없을 것으로 예상됩니다. 그러나 로지스틱 회귀 분석에 입력 된 모든 입력 변수를 기반으로 일부 결과의 진단 예측 모델을 작성하는 등 적절하다고 판단되면이 컷오프 레벨을 조정할 수 있습니다. 예를 들어 컷오프를 0.3으로 설정할 수 있습니다. 그런 다음 예측 된 실제 결과에 대한 2X2 테이블을 수행하고이 컷오프 수준을 기반으로 모델의 민감도, 특이도, 오 탐지율 및 오 음률을 결정할 수 있습니다. 이것은 더 많은 정보를 제공하고 그래프에 사용 된 2 개의 변수의 한계에서 벗어나게합니다. 모형에 합리적으로 적합 할 수있는만큼 많은 예측 변수를 사용할 수 있으며 실제 대 예측 결과의 2X2 테이블을 만들 수 있습니다. 로지스틱 회귀 분석에서는 범주 형 (예-아니오) 결과를 사용하므로 2X2 테이블의 각 셀은 단순히 행과 열 기준을 충족하는 주제의 수입니다. 모형에 합리적으로 적합 할 수있는만큼 많은 예측 변수를 사용할 수 있으며 실제 대 예측 결과의 2X2 테이블을 만들 수 있습니다. 로지스틱 회귀 분석에서는 범주 형 (예-아니오) 결과를 사용하므로 2X2 테이블의 각 셀은 단순히 행과 열 기준을 충족하는 주제의 수입니다. 모형에 합리적으로 적합 할 수있는만큼 많은 예측 변수를 사용할 수 있으며 실제 대 예측 결과의 2X2 테이블을 만들 수 있습니다. 로지스틱 회귀 분석에서는 범주 형 (예-아니오) 결과를 사용하므로 2X2 테이블의 각 셀은 단순히 행과 열 기준을 충족하는 주제의 수입니다.
제공하는 그래프에서 아마도 0.5의 컷오프를 가정합니다. 소프트웨어의 일반적인 기본값입니다. 더 높은 값으로 조정하면 (예 : 0.65로) 라인 내부의 모든 O를 포함 할 수 있지만 모델에 의해 결과가 나올 것으로 예상되는 오탐 (X는 O라고 생각 함)이있을 수 있습니다. 관심. (또는 컷오프 점수를 더 낮게 조정하고 더 많은 잘못된 부정을 갖습니다).
이게 도움이 되길 바란다.

— 작은 권총
소스