시변 바이어스로 바이어스 코인을 모델링하는 방법은 무엇입니까?

편향 동전 모델에는 일반적으로 하나의 매개 변수 있습니다. 일련의 추첨에서 를 추정하는 한 가지 방법 은 베타 사전을 사용하고 이항 우도를 갖는 사후 분포를 계산하는 것입니다.$\theta = P(\text{Head} | \theta)$$\theta$

내 설정에서 이상한 물리적 프로세스로 인해 동전 속성이 천천히 변경되고 는 시간 의 함수가됩니다 . 내 데이터는 일련의 정렬 된 추첨입니다 (예 : . 나는 이산적이고 규칙적인 타임 그리드에서 각 에 대해 하나의 드로우를 가지고 있다고 생각할 수 있습니다 .$\theta$$t$$\{H,T,H,H,H,T,...\}$$t$

이것을 어떻게 모델링하겠습니까? 숨겨진 변수가 이고 이항 우도를 유지 한다는 사실에 적응 한 칼만 필터와 같은 것을 생각하고 있습니다. 추론을 다루기 쉽게하기 위해 를 모델링하는 데 무엇을 사용할 수 있습니까?$\theta$$P(\theta(t+1)|\theta(t))$

다음 답변 편집 (감사합니다!) : 를 HMM 또는 Kalman 필터에서 수행되는 것처럼 주문 1의 Markov Chain으로 모델링 하고 싶습니다. 내가 할 수있는 유일한 가정은 가 부드럽다는 것입니다. with with small Gaussian noise (Kalman filter idea) 라고 쓸 수 는 있지만 안에 있어야합니다 . @J Dav의 아이디어에 따라 probit 함수를 사용하여 실제 선을 에 매핑 할 수는 있지만 이것이 비 분석적 솔루션을 제공 할 것이라는 직관이 있습니다. 평균 의 베타 분포$\theta(t)$$\theta(t)$$P(\theta(t+1)|\theta(t)) = \theta(t) + \epsilon$$\epsilon$$\theta$$[0,1]$$[0,1]$$\theta(t)$ 더 넓은 분산이 트릭을 수행 할 수 있습니다.

나는이 문제가 너무 단순하여 이전에 연구되어 왔어 야한다는 느낌을 가지고 있기 때문에이 질문을하고 있습니다.

분석 솔루션이있는 모델을 생각해 낼 수는 없지만 의심되는 모델의 종속성 구조가 간단하므로 올바른 도구를 사용하여 추론을 다루기 쉽습니다. 머신 러닝 연구원으로서, Expectation Propagation 기술을 사용하여 추론을 매우 효율적으로 만들 수 있기 때문에 다음 모델을 사용하는 것이 좋습니다.

를 시도 의 결과라고 하자 . 시변 파라미터를 정의하자$X(t)$$t$

$\eta(t+1) \sim \mathcal{N}(\eta(t), \tau^2)$ 대해 .$t \geq 0$

와 를 연결하려면 잠재 변수를 도입하십시오$\eta(t)$$X(t)$

$Y(t) \sim \mathcal{N}(\eta(t), \beta^2)$ ,

모델 는$X(t)$

$X(t) = 1$ 이면 이고 , 그렇지 않으면 입니다. 실제로 무시할 수 단지 말하는 '들과 그들을 배척 (와 의 CDF 잠재 성 변수의 도입으로 추론이 쉬워집니다. 또한 원래 매개 변수화 유의하십시오 .$Y(t) \geq 0$$X(t) = 0$$Y(t)$$\mathbb{P}[X(t)=1] = \Phi(\eta(t)/\beta)$$\Phi$$\theta(t) = \eta(t)/\beta$

추론 알고리즘 구현에 관심 이 있는 경우이 백서를 살펴보십시오 . 그들은 매우 유사한 모델을 사용하므로 알고리즘을 쉽게 적용 할 수 있습니다. EP를 이해하려면 다음 페이지 가 유용 할 수 있습니다. 이 접근법을 추구하는 데 관심이 있다면 알려주십시오. 추론 알고리즘을 구현하는 방법에 대한 자세한 조언을 제공 할 수 있습니다.

내 의견을 자세히 설명하기 위해 p (t) = p exp (-t)와 같은 모델은 단순하고 최대 우도 추정을 사용하여 p 을 추정하여 p (t)를 추정 할 수있는 모델입니다 . 그러나 확률은 실제로 기하 급수적으로 붕괴합니다. 이 모델은 초기 및 이후에 관찰 한 것보다 높은 빈도로 성공한 기간을 관찰하면 분명히 잘못 될 것입니다. 진동 동작은 p (t) = p | sint | 로 모델링 할 수 있습니다 . 두 모델 모두 다루기 쉽고 최대 가능성으로 해결할 수 있지만 매우 다른 솔루션을 제공합니다.$_0$$_0$$_0$

당신의 확률은 따라 변하지 만 Michael이 말했듯이, 당신은 방법을 모릅니다. 선형 또는 아닙니다? 확률 p : 모델 선택 문제처럼 보입니다 .$t$$p$

$p=\Phi(g(t,\theta))$$g(t,\theta)$$\Phi$

$\Phi$$g()$$g()$

재 편집 된 질문에 대답하려면 다음을 수행하십시오 .

당신이 말했듯이 probit을 사용하는 것은 수치 솔루션만을 의미하지만 대신 물류 기능을 사용할 수 있습니다

로지스틱 함수 : $P[\theta(t+1)] = \frac{1}{1+\exp{(\theta(t)+\epsilon)}}$

로 선형화 : $\log{\frac{P}{1-P}} = \theta(t)+\epsilon$

$\theta(t+1)=a t^3 +bt^2+ct + d$$\epsilon$$\epsilon$

로짓 확률 : $P[Coin_{t+1}=H | t] = \frac{1}{1+\exp{(\theta(t))}}$

bernoulli 이벤트 (Markov Chain)에 이미 랜덤이 있으며 로 인해 소스를 추가하고 있습니다 . 따라서 문제를 t 를 설명 변수로 사용 하여 최대 우도에 의해 추정 된 Probit 또는 Logit으로 문제를 해결할 수 있습니다 . 나는 당신이 parsimony가 매우 중요하다는 데 동의한다고 가정합니다. 주된 목표가 주어진 방법 (HMM 및 Kalman Filter)을 적용하고 문제에 대한 가장 간단한 유효한 솔루션을 제공하지 않는 한입니다.$\epsilon$$t$