추정기와 추정값의 관계는 무엇입니까?

21

estimation terminology estimators

5

"통계에서 추정기는 관측 된 데이터를 기반으로 주어진 수량의 추정치를 계산하는 규칙입니다. 따라서 규칙과 결과 (추정치)가 구별됩니다." (Wikipedia 기사 en.wikipedia.org/wiki/Estimator 의 첫 번째 줄 ).

— whuber

+1 여기에 대답하려는 초기 시도가 약간의 미묘함을 지적했기 때문에 나는이 질문에 찬성하고 있습니다.

— whuber

@ whuber, 모형 모수 추정값이 추정값이라고 말할 수 있습니까?

— 아보카도

2

@loganecolss 추정기는 수학 함수입니다. 이는 모든 데이터 세트에 대해 얻을 수있는 값 (추정치)과 구별됩니다. 차이를 이해하는 한 가지 방법은 특정 추정치 세트가 다른 추정기 (예 : 최대 가능성 또는 반복적으로 가중 된 최소 제곱과 같은)를 사용하여 선형 회귀의 기울기 의 동일한 추정치 를 생성한다는 것 입니다. 추정치를 산출하는 데 사용 된 추정치와 추정치를 구별하지 않으면 해당 진술의 내용을 이해할 수 없습니다.

— whuber

@ whuber, 하나의 특정 데이터 세트

로도 다른 추정기가 다른 추정치를 줄 수도 있습니다. 그렇지 않습니까?

D

$D$

— avocado

13

EL Lehmann은 그의 고전적인 포인트 추정 이론 에서 pp 1-2에서이 질문에 대답합니다.

관측치는 이제 알려진 클래스에 속하는 공동 확률 분포 를 따르는 것으로 가정되는 임의의 변수에 의해 취해진 값으로 가정됩니다 . $P$

... 그 생각 ... 우리가 지금 시점 추정에 전문하자 [분포의 규정 클래스] 정의 된 실수 기능이며, 우리의 가치를 알고 싶으면 어떤에서의 실제 분포 [ 효과, ]. 불행히도, 및 따라서 는 알려져 있지 않다. 그러나, 데이터의 추정치 얻을 수있다 , 하나 개의 희망에 가까운 것이라고 값 . $g$ $g$ $\theta$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$

즉, 추정기 는 특정 문제가 생성 할 수있는 가능한 데이터 세트에 대한 숫자 ( 추정값 )를 나타내는 명확한 수학적 절차입니다 . 이 숫자는 데이터 생성 프로세스의 명확한 수치 적 특성 ( ) 을 나타 내기위한 것입니다 . 우리는 이것을 "estimand"라고 부를 수 있습니다. $g(\theta)$

추 정부 자체는 하지 확률 변수 : 그냥 수학 함수이다. 그러나 생성되는 추정치는 자체가 임의 변수로 모델링 된 데이터를 기반으로합니다. 이것은하게 추정 확률 변수로하고 (데이터에 따른 것으로 생각) 특정 예측 을위한 특정 데이터 집합 그 확률 변수를 실현하게된다.

하나의 (종래의) 정규 최소 제곱 공식에서, 데이터는 순서 쌍 됩니다. 는 (이들은 예를 들면, 투여 약물의 양이 될 수있다)을 실험에 의해 결정되었다. 각 (예를 들어 약물에 대한 반응은) 일반 인 확률 분포로부터 알 수 있지만, 평균 올 가정 및 공통 분산 . 또한, 평균은 공식 통해 와 관련이 있다고 가정합니다 $(x_i, y_i)$ $x_i$ $y_i$ $\mu_i$ $\sigma^2$ $x_i$ . 이 세 가지 매개 변수 , 및 은 값에 대한 의 기본 분포를 결정합니다. 따라서해당 분포의모든특성은 의 함수로 생각할 수 있습니다. 이러한 특성의 예는 절편 , 기울기 , 값 $\mu_i = \beta_0 + \beta_1 x_i$ $\sigma$ $\beta_0$ $\beta_1$ $y_i$ $x_i$ $(\sigma, \beta_0, \beta_1)$ $\beta_0$ $\beta_1$ 또는값의 평균(이 공식에 따라)은이어야합니다. $\cos(\sigma + \beta_0^2 - \beta_1)$ $x=2$ $\beta_0 + 2 \beta_1$

이 OLS 문맥에서, 비 예제 추정기의이 값에 맞춰 절차 것이다 경우, 2로 동일하게 설정 하였다 이것은 하지 의 값 때문에 추정기 인 랜덤 (방법으로 완전히 분리 데이터의 임의성) : 분포와 관련되어 있지만 분포의 (정확한 수치) 속성이 아닙니다. (방금 보았 듯이 과 동일한 대한 의 기대치 를 추정 할 수 있습니다.) $y$ $x$ $y$ $y$ $x=2$ $\beta_0 + 2 \beta_1$

Lehmann의 공식에서 거의 모든 공식은 거의 모든 특성을 평가할 수 있습니다. 추정기와 추정치 사이에는 고유 한 수학적 연결이 없습니다. 그러나 추정량이 추정치에 합리적으로 근접 할 가능성을 미리 평가할 수 있습니다. 이를 수행하는 방법과이를 활용하는 방법은 추정 이론의 주제입니다.

— 우버
소스

1

(+1) 매우 정확하고 자세한 응답.

— chl

2

랜덤 변수 자체의 함수도 랜덤 변수가 아닌가?

— jsk

@jsk 나는 여기서 함수의 구성

을 고려하여 구별하려고 할 것이다

첫 번째 함수는 랜덤 변수

. 두 번째 것 (

라고 부름 )은 여기에서 추정기 로 불리며 두

은 "추정"또는 "추정 절차"입니다. 변하기 쉬운.

Ω \to R^{n} \to R .

$\Omega\to\mathbb{R}^n\to\mathbb{R}.$

X

$X$

t

$t$

t \circ X : Ω \to R

$t\circ X:\Omega\to\mathbb{R}$

— whuber

1

@whuber 귀하의 게시물에서 "추정자 자체는 임의 변수가 아닙니다"라고 말합니다. 귀하와 본인이 동의 한 것으로 보이는 점을 명확히하기 위해 귀하의 게시물을 수정하려고했으나 다른 사람이 내 편집을 거부 한 것 같습니다. 아마도 그들은 당신의 편집을 선호 할 것입니다!

— jsk

채팅에서이 토론을 계속 합시다 .

— whuber

7

간단히 말해 추정기는 함수이고 추정치는 관측 된 샘플을 요약 한 값입니다.

추정기는 매개 변수 추정에 임의의 샘플을 매핑하는 기능입니다 :

참고 추정기 그N확률 변수임의의 변수이다 . 예를 들어 추정기는 표본 평균입니다.

\hat{Θ} = t (X_{1}, X_{2}, . . ., X_{n})

$\hat{\Theta}=t(X_1,X_2,...,X_n)$

X_{1}, X_{2}, . . ., X_{n}

$X_1,X_2,...,X_n$

\hat{Θ}

$\hat{\Theta}$

\bar{X} = \frac{1}{n} \sum_{n = 1}^{n} X_{i}

$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$

\hat{θ}

$\hat{\theta}$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{θ} = t (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}=t(x_1,x_2,...,x_n)$ For instance, an estimate of the observed sample

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$ is the sample mean:

\hat{μ} = \bar{x} = \frac{1}{n} \sum_{n = 1}^{n} x_{i}

$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$

— Freeman
소스

estimator is a RV, while estimate is a constant?

— Parthiban Rajendran

Isn't your conclusion conflicting with @whuber's? Here you say estimator is RV, but whuber says otherwise.

— Parthiban Rajendran

Yes, I disagree with @whuber's statement "The estimator itself is not a random variable: it's just a mathematical function". A function of random variable is also a random variable. onlinecourses.science.psu.edu/stat414/node/128

— Freeman

3

It might be helpful to illustrate whuber's answer in the context of a linear regression model. Let's say you have some bivariate data and you use Ordinary Least Squares to come up with the following model:

Y = 6X + 1

At this point, you can take any value of X, plug it into the model and predict the outcome, Y. In this sense, you might think of the individual components of the generic form of the model (mX + B) as estimators. The sample data (which you presumably plugged into the generic model to calculate the specific values for m and B above) provided a basis on which you could come up with estimates for m and B respectively.

Consistent with @whuber's points in our thread below, whatever values of Y a particular set of estimators generate you for are, in the context of linear regression, thought of as predicted values.

(edited -- a few times -- to reflect the comments below)

— ashaw
소스

1

You have nicely defined a predictor. It is subtly (but importantly) different from an estimator. The estimator in this context is the least squares formula used to compute the parameters 1 and 6 from the data.

— whuber

Hmm, I didn't mean it that way, @whuber, but I think your comment illustrates an important ambiguity in my language that I didn't notice before. The main point here is that you can think of the generic form of the equation Y = mX + B (as used above) as an estimator, whereas the particular predicted values generated by specific examples of that formula (e.g., 1 + 6X) are estimates. Let me try to edit the paragraph above to capture that distinction...

— ashaw

btw, I'm trying to explain this without introducing the "hat" notation that I've encountered in most textbook discussions of this concept. Perhaps that's the better route after all?

— ashaw

2

I think you have hit a nice medium between accuracy and technicality in your original answer: keep it up! You don't need hats, but if you can manage to show how an estimator is distinguished from other, similar-looking things, that would be most helpful. But please notice the distinction between predicting a value Y and estimating a parameter such as m or b. Y could be interpreted as a random variable; m and b are not (except in a Bayesian setting).

— whuber

indeed, a very good point in terms of parameters versus values there. Editing again...

— ashaw

0

Suppose you received some data, and you had some observed variable called theta. Now your data can be from a distribution of data, for this distribution, there is a corresponding value of theta that you infer which is a random variable. You can use the MAP or mean for calculating the estimate of this random variable whenever the distribution of your data changes. So the random variable theta is known as an estimate, a single value of the unobserved variable for a particular type of data.

While estimator is your data, which is also a random variable. For different types of distributions you have different types of data and thus you have a different estimate and thus this corresponding random variable is called the estimator.

— Ankur Kothari
소스