로지스틱 회귀는 언제 닫힌 형태로 해결됩니까?

취하십시오 $x \in \{0,1\}^d$ 와 우리는 로지스틱 회귀 분석을 사용하여 지정된 x Y를 예측하는 작업을 모델링 가정합니다. 로지스틱 회귀 계수는 언제 닫힌 형태로 쓸 수 있습니까? $y \in \{0,1\}$

포화 모델을 사용하는 경우를 예로들 수 있습니다.

즉, . 여기서 는 의 전원 집합에서 집합을 색인화 하고 는 1을 반환합니다. 번째 세트 의 모든 변수 는 1이고 그렇지 않은 경우 0입니다. 그런 다음 각 표현할 수 있습니다 $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$ $i$ $\{x_1,\ldots,x_d\}$ $f_i$ $i$ $w_i$ 이 로지스틱 회귀 모델에서 를 데이터 통계의 합리적인 함수의 로그로 .

닫힌 양식이 존재할 때 다른 흥미로운 예가 있습니까?

logistic generalized-linear-model

— 야로슬라프 불라 토프
소스

"파라미터의 MLE가 닫힌 형태 일 때"라는 의미라고 가정합니다.

— Glen_b-복지 주 모니카

당신이 한 일을 더 자세히 설명해 주시겠습니까? 로지스틱 회귀 문제에 대해 평소 최소 제곱 추정기를 도출하려고 한 것처럼 질문이 읽힙니까?

— Momo

흥미로운 게시물 / 질문 감사합니다. Yaroslav. 보여주는 예에 대한 참조가 있습니까?

— Bitwise

그것은 오래되었지만 Lauritzen의 "Graphical Models"책에있을 것입니다. 이 질문에 대한 답의 더 넓은 기초는 다음과 같습니다. 충분한 통계로 형성된 (하이퍼) 그래프가 화음

— Yaroslav Bulatov

이것은 tandfonline.com/doi/abs/10.1080/…에 흥미로울 것입니다. 저는 이것이 2x2 테이블 만있을 때 분석 솔루션의 특별한 경우라고 생각합니다

— Austin

답변:

1 차 조건을 갖는 갖는 문제정수를 포함한 변수 (만약 필요 — 원점 문제를 통한 회귀도 있음), 이것은방정식과갖는 시스템입니다.

\sum_{i} (y_{i} - x_{i}^{'} β)^{2} \to min_{β},

$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$

- 2 \sum_{나는} ({와이}_{나는} - {엑스}_{나는}^{'} β) {엑스}_{나는} = 0

$-2 \sum_i (y_i - x_i'\beta) x_i = 0$

p

$p$

p

$p$

p

$p$ 미지수. 가장 중요한 것은 선형 시스템이므로 표준 선형 대수 이론과 실습을 사용하여 솔루션을 찾을 수 있습니다 . 이 시스템은 완벽하게 공 선형 변수가없는 한 확률 1의 해를 갖습니다.

이제 로지스틱 회귀를 사용하면 더 이상 쉽지 않습니다. 로그 우도 함수 적어 미분을 MLE을 구하면

엘 (와이; 엑스, β) = \sum_{나는} {와이}_{나는} \ln 피_{나는} + (1 - {와이}_{나는}) \ln (1 - 피_{나는}), 피_{나는} = (1 + 특급 (- θ_{나는}))^{- 1}, θ_{나는} = {엑스}_{나는}^{'} β,

$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$

모수

는 이것을 매우 비선형 방식으로 입력합니다. 각

에 대해 비선형 함수가 있으며 함께 더해집니다. 이 (두 개의 관찰, 또는 그런 뭔가 사소한 상황에서 아마 제외)에는 분석 솔루션은 없다, 당신은 사용할 필요가비선형 최적화 방법을추정 찾을

\frac{\partial 엘}{\partial β^{'}} = \sum_{나는} \frac{디 피_{나는}}{디 θ} (\frac{{와이}_{나는}}{피_{나는}} - \frac{1 - {와이}_{나는}}{1 - 피_{나는}}) {엑스}_{나는} = \sum_{나는} [{와이}_{나는} - \frac{1}{1 + 특급 ({엑스}_{나는}^{'} β)}] {엑스}_{나는}

$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$

β

$\beta$

i

$i$

\hat{β}

$\hat\beta$

문제에 대해 좀 더 깊게 살펴보면 (두 번째 미분을 취함) 이것이 최대 오목 함수 (예를 들어 다변화 된 다변량 포물선)를 찾는 볼록 최적화 문제이므로 둘 중 하나가 존재하고 합리적인 알고리즘은 오히려 찾아야합니다 빨리, 또는 일이 무한대로 날아갑니다. 후자는 일부 ${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$ $c$ 즉, 당신은 완벽한 예측이 있습니다. 이것은 다소 불쾌한 유물입니다. 완벽한 예측을 할 때 모델이 완벽하게 작동하지만 호기심이 충분하면 다른 방향으로 생각합니다.

— StasK
소스

문제는 마지막 방정식을 해결할 수없는 이유입니다. 로지스틱 함수가 0과 1의 역 분기 때문입니까, 아니면 일반적으로 비선형 성 때문입니까?

— eyaler

(+1) 마지막 단락에 대해서 : 그것은 수학적 관점에서 수행 MLE 완벽한 분리 초평면을 얻을 것이라는 의미에서 "완벽하게"일을. 해당 상황에서 수치 알고리즘이 현명하게 작동 하는지 여부 는 별도의 문제입니다. 라플라스 스무딩은 종종 이러한 상황에서 사용됩니다.

— 추기경

@eyaler, 나는 이것이 일반적으로 비선형 성 때문이라고 말할 것입니다. 나는이 상황이 무엇인지 모르지만이 문제를 해결할 수있는 상황이 제한되어 있다는 것을 이해합니다.

— StasK

시스템이 닫힌 양식 솔루션을 갖지 못하게하는 수학 조건이 무엇인지 이해하지 못합니까? 일반적으로 사물에 폐쇄 형 솔루션이없는 일반적인 조건이 있습니까?

— Charlie Parker

로지스틱 회귀 분석이 기울기 하강 반복을 살펴봄으로써 증명할 수있는 닫힌 형태가 없다는 사실이 있습니까?

— Charlie Parker

이 게시물은 원래 질문에 대한 완전한 답변이 아니라 긴 의견으로 작성되었습니다.

문제는 관심이 이진 경우에만 있거나 더 일반적인 경우에 지속적이거나 다른 이산 값을 취할 수 있는지에 대해서는 확실하지 않습니다.

질문에 대답하지는 않지만 관련이 있고 내가 좋아하는 한 가지 예는 쌍 비교를 통해 얻은 항목 우선 순위 순위를 처리합니다. 브래들리-테리 모델 로지스틱 회귀로 표현 될 수있는 및 에 "선호도", "인기", 또는 " 아이템의 강도 "파라미터 와 표시 항목 항목 선호했다

엘 영형 지 나는 티 (홍보 ({와이}_{나는 j} = 1)) = α_{나는} - α_{j},

$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$

α_{i}

$\alpha_i$

i

$i$

Y_{i j} = 1

$Y_{ij} = 1$

i

$i$

쌍으로 비교 한

j

$j$

비교의 전체 라운드 로빈이 수행되는 경우 (즉, 페어 선호도는 각 순서화에 대한 기록 다음은 MLEs의 순위가 나온다, 쌍) 의 순위에 대응하는 , 각 객체가 다른 객체보다 선호되는 총 횟수입니다. $(i,j)$ $\hat{\alpha}_i$ $S_i = \sum_{j \neq i} Y_{ij}$

이것을 해석하려면 좋아하는 경쟁 스포츠에서 전체 라운드 로빈 토너먼트를 상상하십시오. 그런 다음이 결과는 Bradley–Terry 모델이 승리 율에 따라 플레이어 / 팀의 순위를 정한다고 말합니다. 이것이 고무적이거나 실망스러운 결과인지 여부는 귀하의 관점에 달려 있습니다.

NB 이 라운드 순서 결과는 일반적으로 전체 라운드 로빈이 재생되지 않을 때는 유지되지 않습니다.

— 추기경
소스

분석하기가 가장 쉬웠 기 때문에 바이너리에 관심이있었습니다. Lauritzen의 작품에서 매우 광범위한 조건을 발견했습니다. 해당 로그 선형 모델을 분해 할 수있는 경우 폐쇄 된 형태가됩니다.

— Yaroslav Bulatov