멀티 클래스에 대한 로지스틱 회귀

나는 멀티 클래스에 대한 로지스틱 회귀 모델을 얻었습니다.

피 (와이 = 제이 | {엑스}^{(나는)}) = \frac{특급 (θ_{제이}^{티} {엑스}^{(나는)})}{1 + \sum_{미디엄 = 1}^{케이} 특급 (θ_{미디엄}^{티} {엑스}^{(나는)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

여기서 k는 클래스 수 theta는 추정 할 매개 변수입니다. j는 j 번째 클래스입니다. Xi는 훈련 데이터입니다.

내가 얻지 못한 한 가지는 분모 부분 모델을 정규화 입니다. 확률이 0에서 1 사이를 유지한다는 의미입니다.

1 + \sum_{미디엄 = 1}^{케이} 특급 (θ_{미디엄}^{티} {엑스}^{(나는)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

로지스틱 회귀 분석에 익숙하다는 뜻입니다.

피 (와이 = 1 | {엑스}^{(나는)}) = 1 / (1 + 특급 (- θ^{티} {엑스}^{(나는)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

사실, 나는 노멀 화와 혼동됩니다. 이 경우에는 시그 모이 드 함수이므로 값을 0보다 작거나 1보다 크게 만들 수는 없지만 다중 클래스의 경우 혼란 스럽습니다. 왜 그래야만하지?

이것은 내 참조 https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-February/029738.html 입니다. 정규화해야했다고 생각합니다.

피 (와이 = 제이 | {엑스}^{(나는)}) = \frac{특급 (θ_{제이}^{티} {엑스}^{(나는)})}{\sum_{미디엄 = 1}^{케이} 특급 (θ_{미디엄}^{티} {엑스}^{(나는)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— 사용자
소스

힌트 : 로지스틱 회귀 분석에는 암시 적으로 두 가지 확률이 있습니다 : 확률 및 확률 . 이러한 확률의 합은 이어야합니다 .

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

— whuber

다른 게시물 중 일부를 기반으로 방정식을 마크 업하는 방법을 알고 있습니다. 여기의 텍스트 방정식은 읽기 어렵고 (첨자?) 혼동됩니다. 표시 할 수 있습니까?

L A T E X

$\LaTeX$

— 매크로

여기에 너무 많은 질문을 게시하고 있기 때문에 질문을하는 방법에 대한 FAQ를 잠시 멈추고 읽으십시오. 수식을 읽을 수 있도록 마크 업에 대한 도움말을 읽으십시오 .

T E X

$\TeX$

— whuber

나는 방정식을 편집했다. @ whuber 사실, 나는 이진법이 아닌 멀티 클래스 로지스틱 회귀와 관련하여 혼란 스럽다. 나는 내분 모에 모든 원소를 추가 할 때 어떻게 확률이 정규화되는지에 대해 걱정하고 있습니다.

— user34790

@ user34790, 각 항을 합계로 나누면 개별 클래스 확률은 1로 합산됩니다. 그런데 는 무엇입니까 ?

X^{(i)}

$X^{(i)}$

— 매크로

답변:

수식이 잘못되었습니다 (합계의 상한). 클래스 ( )를 사용한 로지스틱 회귀 분석에서는 기본적으로 하나의 클래스를 참조 또는 피벗으로 선택하는 이항 로지스틱 회귀 모델을 만듭니다 . 일반적으로 마지막 클래스 가 참조로 선택됩니다. 따라서 참조 클래스의 확률은확률의 일반적인 형태는애즈 번째 클래스는 참조가 그러므로 및 $K$ $K> 2$ $K-1$ $K$

피 ({와이}_{나는} = 케이 | {엑스}_{나는}) = 1 - \sum_{케이 = 1}^{케이 - 1} 피 ({와이}_{나는} = 케이 | {엑스}_{나는}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

피 ({와이}_{나는} = 케이 | {엑스}_{나는}) = \frac{특급 (θ_{나는}^{티} {엑스}_{나는})}{\sum_{나는 = 1}^{케이} 특급 (θ_{나는}^{티} {엑스}_{나는})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{나는 = 1}^{케이} 특급 (θ_{나는}^{티} {엑스}_{나는}) = 특급 (0) + \sum_{나는 = 1}^{케이 - 1} 특급 (θ_{나는}^{티} {엑스}_{나는}) = 1 + \sum_{나는 = 1}^{케이 - 1} 특급 (θ_{나는}^{티} {엑스}_{나는}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ 결국 모든 대해 다음 공식을 얻습니다 .

k < K

$k < K$

피 ({와이}_{나는} = 케이 | {엑스}_{나는}) = \frac{특급 (θ_{나는}^{티} {엑스}_{나는})}{1 + \sum_{나는 = 1}^{케이 - 1} 특급 (θ_{나는}^{티} {엑스}_{나는})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— sebp
소스

최대한의 가능성을 수행하는 경우 참조 클래스 선택은 중요하지 않습니다. 그러나 최대 가능성, 또는 베이지안 추론에 불이익을 가하는 경우 확률을 과도하게 매개 변수화 한 상태로두고 과량하게 매개 변수를 처리하는 방법을 선택하는 것이 더 유용 할 수 있습니다. 대부분의 페널티 기능 / 전과는 참조 클래스의 선택에 대한 불변되지 않기 때문입니다

— probabilityislogic

@sebp, 약간 혼란스러워 보인다 . 관찰에 를 사용 하고 카테고리 반복에 다른 문자 를 사용하는 것이 좋습니다 .

i

$i$

i

$i$

k

$k$

— garej

오타로 혼란스러워하는 것 같습니다. 첫 번째 방정식에서 는 이어야합니다 . 로지스틱 사례에서 1은 실제로 . 예를 들어 번째 입니다. $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

라고 가정하십시오 . 이제 마지막 공식에서 와 같은 로지스틱 회귀 버전으로 이동할 수 있습니다. 여러 클래스의 경우 처음 두 수량의 분모를 지수 선형 예측 변수에 대한 합으로 대체하십시오. $\theta_1 X=b$

\frac{특급 (비)}{특급 (0) + 특급 (비)} = \frac{특급 (0)}{특급 (0) + 특급 (- 비)} = \frac{1}{1 + 특급 (- 비)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

— 공역 체
소스