«maximum-likelihood» 태그된 질문

이 페이지를 읽었습니다 : http://neuralnetworksanddeeplearning.com/chap3.html 교차 엔트로피를 갖는 시그 모이 드 출력층은 로그 우도를 갖는 소프트 맥스 출력층과 상당히 유사하다고 말했다. 출력 레이어에서 로그 가능성이있는 시그 모이 드 또는 교차 엔트로피가있는 소프트 맥스를 사용하면 어떻게됩니까? 괜찮아? becuase 나는 교차 엔트로피 (eq.57) 사이에 방정식의 차이가 거의 없다는 것을 알았습니다. 기음= − …

31 neural-networks  maximum-likelihood  softmax 

예를 들어 내 문제를 설명하겠습니다. {나이, 성별, 국가, 지역, 도시}와 같은 속성이 주어진 개인의 소득을 예측한다고 가정합니다. 당신은 이와 같은 훈련 데이터 세트를 가지고 있습니다 train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

랜덤 변수 X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta) 가 있다고 가정 해 봅시다 . 경우 θ0θ0\theta_0 실제 파라미터 있었다 상기 우도 함수를 최대화 제로 유도체 같아야한다. 이것이 최대 가능성 추정기의 기본 원리입니다. 내가 알기로 Fisher 정보는 다음과 같이 정의됩니다. I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] 따라서 θ0θ0\theta_0 이 참 매개 변수이면 I(θ)=0I(θ)=0I(\theta) …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

알려진 최소값 및 최대 값 a 및 b는 있지만 알 수없는 매개 변수 μ 및 σ 2 의 잘린 분포 (예 : 잘린 정규 분포 ) 를 따르는 것으로 가정 되는 랜덤 변수 X 에서 얻은 독립 샘플 S를 고려하십시오 . 경우 X는 비 절단 분포를 따라 최대 우도 추정기 …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

나는 Owen의 경험적 가능성에 대해 들었지만, 최근까지는 관심있는 논문에서 그것을 발견 할 때까지주의를 기울이지 않았습니다 ( Mengersen et al. 2012 ). 그것을 이해하려는 노력에서 관찰 된 데이터의 가능성이 여기서 이고 입니다.L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)엘=∏나는피나는=∏나는피(엑스나는=엑스)=∏나는피(엑스나는≤엑스)−피(엑스나는<엑스)L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i P(X_i \le x) - P(X_i \lt x)∑ipi=1∑나는피나는=1\sum_i p_i = 1pi>0피나는>0p_i > …

28 bayesian  maximum-likelihood  nonparametric  likelihood  empirical-likelihood 

최대 우도 추정은 종종 편향 추정기로 귀결됩니다 (예를 들어, 표본 분산에 대한 추정은 가우스 분포에 대해 편향됩니다). 그렇다면 무엇이 그렇게 인기가 있습니까? 왜 그렇게 많이 사용됩니까? 또한 대안적인 접근 방식보다 더 나은 점은 무엇입니까? 또한 가우시안의 경우 MLE 추정기의 간단한 스케일링으로 인해 편향되지 않은 것으로 나타났습니다. 이 스케일링이 표준 절차가 …

25 normal-distribution  maximum-likelihood  method-of-moments 

바이어스 최대 가능성 (ML) 추정값 에 혼란이 있습니다 . 전체 개념의 수학은 나에게는 분명하지만, 그 배후의 직관적 추론을 알아낼 수는 없습니다. 분포에서 추출한 표본이있는 특정 데이터 세트 (자체가 우리가 추정하고자하는 매개 변수의 함수 임)를 고려할 때 ML 추정기는 데이터 세트를 생성 할 가능성이 가장 높은 매개 변수의 값을 산출합니다. 나는 …

25 maximum-likelihood  bias 

나는 최대 가능성 추정을 위해 R의 nlm을 사용하도록 제안하는 몇 가지 가이드를 살펴 보았습니다. 그러나 이들 중 어느 것도 ( R의 문서 포함 ) 함수를 언제 사용할 것인지에 대한 이론적 인 지침을 제공하지 않습니다. 내가 알 수있는 한, nlm은 뉴턴 방법의 선을 따라 그라디언트 하강을하고 있습니다. 이 방법을 사용하는 것이 …

25 r  maximum-likelihood 

방금 통계와 모델에 대해 공부하기 시작했습니다. 현재 MLE을 사용하여 모델에 가장 적합한 모수를 추정한다는 것을 알고 있습니다. 그러나 신경망의 작동 방식을 이해하려고하면 매개 변수를 추정하기 위해 다른 접근법을 일반적으로 사용하는 것처럼 보입니다. 왜 MLE를 사용하지 않습니까? 아니면 MLE을 전혀 사용할 수 없습니까?

23 maximum-likelihood  neural-networks 

최대 (로그) 우도 추정 문제에 항상 최대 값이 있는지 궁금합니다. 다시 말해서, MLE 문제에 최대화가없는 분포와 매개 변수가 있습니까? 내 질문은 MLE의 비용 함수 (가능성 또는 로그 가능성, 의도 된 것인지 확실하지 않음)가 항상 오목하고 항상 최대화되어 있다는 엔지니어의 주장에서 비롯됩니다. 감사합니다.

23 maximum-likelihood  optimization 

스튜던트 t- 분포의 모수에 대한 최대 우도 추정치는 무엇입니까? 닫힌 형태로 존재합니까? 빠른 Google 검색으로 결과가 나오지 않았습니다. 오늘 나는 일 변량 사례에 관심이 있지만 아마도 모델을 여러 차원으로 확장해야 할 것입니다. 편집 : 실제로 위치 및 스케일 매개 변수에 주로 관심이 있습니다. 지금은 자유도 매개 변수가 고정되어 있다고 가정하고 …

23 estimation  maximum-likelihood  t-distribution 

정규 문제에 대해 알고 있는데, 만약 우리가 가장 규칙적인 편견이없는 추정기가 있다면, 그것은 최대 우도 추정기 (MLE) 여야합니다. 그러나 일반적으로 우리가 편견없는 MLE를 가지고 있다면, 이것이 최선의 편견없는 추정기일까요?

22 mathematical-statistics  maximum-likelihood  unbiased-estimator 

8ed (pp.217-218)에 대한 Miller and Freund의 확률 및 통계에 따르면 , 이항 분포 (Bernoulli 시행)에 대해 최대화 될 가능성 함수는 다음과 같습니다. 패 ( p )=∏n나는 = 1피x나는( 1 - p)1 −x나는L(피)=∏나는=1엔피엑스나는(1−피)1−엑스나는L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i} 이 방정식에 어떻게 도달합니까? Poisson과 Gaussian과 같은 다른 배포판에 관해서는 꽤 분명해 보입니다. L ( θ …

22 estimation  maximum-likelihood  bernoulli-distribution  point-estimation 

hessian 행렬을 사용한 optim의 출력이 주어지면 hessian 행렬을 사용하여 매개 변수 신뢰 구간을 계산하는 방법은 무엇입니까? fit<-optim(..., hessian=T) hessian<-fit$hessian 최대 가능성 분석의 맥락에 주로 관심이 있지만 방법을 넘어 확장 할 수 있는지 궁금합니다.

22 r  maximum-likelihood 

다음 모델이 있다고 가정하십시오. yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i 여기서 yi∈RKyi∈RKy_i\in \mathbb{R}^K , xixix_i 는 설명 변수로 구성된 벡터이고, θθ\theta 는 비선형 함수 fff 및 의 매개 변수입니다 εi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma). 여기서 ΣΣ\Sigma 자연스럽게 K×KK×KK\times K 행렬입니다. 목표는 일반적으로 θθ\theta 및 를 추정하는 것입니다 ΣΣ\Sigma. 확실한 선택은 최대 가능성 방법입니다. 이 모델에 대한 로그 우도 …

22 maximum-likelihood  optimization  covariance