로지스틱 함수로 변환 된 가우스 랜덤 변수의 예상 값

10

로지스틱 함수와 표준 편차는 일반적으로 로 표시 됩니다. 내가 사용합니다 및 표준 편차. $\sigma$ $\sigma(x) = 1/(1+\exp(-x))$ $s$

내 말은 임의의 입력과 물류 신경이 과 표준 편차 내가 알고 있습니다. 평균과의 차이가 일부 가우시안 노이즈에 의해 대략적으로 추정 될 수 있기를 바랍니다. 따라서 약간의 표기법 남용으로 생성한다고 가정합니다 . 의 예상 값은 무엇입니까 ? 표준 편차 에 비해 크거나 작은 수 있습니다 또는 . 예상 값에 대한 적절한 닫힌 양식 근사값은 닫힌 양식 솔루션만큼이나 좋습니다. $\mu$ $s$ $\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$ $\sigma(N(\mu,s^2))$ $s$ $\mu$ $1$

닫힌 양식 솔루션이 존재하지 않는다고 생각합니다. 이것은 컨볼 루션으로 볼 수 있으며 물류 밀도의 특성 함수는 알려져 있지만 ( ) 이것이 얼마나 도움이되는지 잘 모르겠습니다. 역 상징적 계산기 의 밀도를 인식 할 수 없습니다 제안하지만, 간단한 기초 필수가 없음을 증명하지 않는 물류 유통의 밀도 회선 및 표준 정규 분포의. 보다 상황에 대한 증거 : 로지스틱 뉴런을 사용하여 신경망에 가우스 입력 노이즈를 추가하는 것에 대한 일부 논문에서 논문은 닫힌 형태 표현을 제공하지 않았습니다. $\pi t ~\text{csch} ~\pi t$ $0$

이 질문은 Boltzman 기계의 평균 필드 근사치의 오류를 이해하려고 시도했습니다.

— 더글러스 자레
소스

5

다음은 내가 사용했던 것입니다.

쓰십시오. 여기서 입니다. Taylor 시리즈 확장을 사용할 수 있습니다. $\sigma(N(\mu,s^2)) = \sigma(\mu + X)$ $X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

수렴 문제가 있습니다. 로지스틱 함수는 인 극점을 가지 므로 , 홀수입니다. 발산은 접두사가 쓸모없는 것과 같지 않지만 가 유의 하면이 계열 근사값을 신뢰할 수 없습니다 . $\exp(-x) = -1$ $x = k \pi i$ $k$ $P(|X| \gt \sqrt{\mu^2 + \pi^2})$

이후 , 우리의 유도체 쓸 수 의 다항식 등을 . 예를 들어, and 입니다. 계수는 OEIS A028246 과 관련이 있습니다. $\sigma'(x) = \sigma(x) (1-\sigma(x))$ $\sigma(x)$ $\sigma(x)$ $\sigma'' = \sigma-3\sigma^2+2\sigma^3$ $\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

— 더글러스 자레
소스

4

여기에있는 것은 logit-normal (또는 logistic-normal) 분포 ( wikipedia 참조 ), 즉 뒤에 오는 랜덤 변수입니다 . 로짓 정규 분포의 순간에는 분석 솔루션이 없습니다. $\mbox{logit}[x] \sim N(\mu, s^2)$

그러나 물론 숫자 통합을 통해 얻을 수 있습니다. R을 사용 하면 필요한 모든 것을 갖춘 logitnorm 패키지가 있습니다. 예를 들면 :

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

결과는 다음과 같습니다.

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

따라서 평균과 분산을 직접 제공하는 편리한 기능도 있습니다.

— 볼프강
소스