GLM의 로그 가능성이 글로벌 최대 값으로 수렴을 보장합니까?

내 질문은 :

1. 일반화 된 선형 모델 (GLM)이 전체 최대 값으로 수렴되도록 보장됩니까? 그렇다면 왜 그렇습니까?
2. 또한, 볼록 함을 보장하기 위해 링크 기능에는 어떤 제약이 있습니까?

GLM에 대한 나의 이해는 이들이 매우 비선형 우도 함수를 최대화한다는 것입니다. 따라서 여러 로컬 최대 값이 있고 수렴 할 매개 변수 세트가 최적화 알고리즘의 초기 조건에 따라 다르다고 생각합니다. 그러나 몇 가지 연구를 한 후에 여러 로컬 최대 값이 있음을 나타내는 단일 소스를 찾지 못했습니다. 또한 최적화 기술에 익숙하지는 않지만 Newton-Raphson 방법과 IRLS 알고리즘이 로컬 최대 값에 매우 취약하다는 것을 알고 있습니다.

가능하면 직관적이고 수학적으로 설명하십시오!

편집 : dksahuji는 내 원래의 질문에 대답했지만 위 의 후속 질문 [ 2 ] 을 추가하고 싶습니다 . ( "볼록을 보장하기 위해 링크 기능에는 어떤 제약이 있습니까?")

지수 패밀리의 정의는 다음과 같습니다.

$$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$$

여기서 는 로그 분할 함수입니다. 이제 다음 세 가지가 1D 사례에 적용된다는 것을 증명할 수 있습니다.$A(\theta)$

1. $\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$

2. $\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$

3. $\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

상기 결과는 증명 ( θ가 ) (로 볼록 인 C O V ( φ ( x는 ) ) 긍정적 인 semidefinite). 이제 MLE의 우도 함수를 살펴 보겠습니다. $A(\theta)$${\rm cov}(\phi(x))$

$$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$$

지금 인 선형 및 세타 - ( θ는 ) 오목하다. 따라서 고유 한 전역 최대 값이 있습니다.$\theta^T[\phi(\mathcal{D})]$$-A(\theta)$

곡선 지수 패밀리 (curved exponential family)라고하는 일반화 된 버전이 있는데, 이것 또한 비슷합니다. 그러나 대부분의 증거는 정식 형태입니다.