간단한 선형 모형을 고려하십시오.

$$\pmb{y}=X'\pmb{\beta}+\epsilon$$

여기서 및 , p ≥ 2 및 X 는 열을 포함합니다. 상수.ϵ i ∼ i . 나는 . d .N ( 0 , σ 2 ) X ∈ R n × $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$$X\in\mathbb{R}^{n\times p}$$p\geq2$$X$

내 질문은 $\mathrm{E}(X'X)$ , $\beta$ 및 σ 가 주어지면 E ( R 2 ) * $\sigma$에 사소한 상한에 대한 공식이 있습니까? (모델이 OLS에 의해 추정되었다고 가정).$\mathrm{E}(R^2)$

* 내가이 글을 쓰는, 가정이 점점 $E(R^2)$ 자체가 불가능했을 것입니다.

편집 1

Stéphane Laurent (아래 참조)에서 파생 된 솔루션을 사용하여 E ( R 2 ) 에 대한 사소한 상한을 얻을 수 있습니다 $E(R^2)$. 일부 수치 시뮬레이션 (아래)은이 한계가 실제로 매우 엄격하다는 것을 보여줍니다.

: 스테판 랑은 다음 유래 R 2 ~ B ( P - 1 , N - P , λ ) B ( P - 1 , N - P , λ는 ) 비 중심적 파라미터 비 중앙 베타 분포 λ 로를$R^2\sim\mathrm{B}(p-1,n-p,\lambda)$$\mathrm{B}(p-1,n-p,\lambda)$$\lambda$

$$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$$

그래서

$$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$$

여기서 χ 2 k ( λ ) 는 매개 변수 λ 와 k 자유도를 가진 비 중심 χ 2 입니다 . 따라서 E ( R 2 )에 대한 사소한 상한 은$\chi^2_{k}(\lambda)$$\chi^2$$\lambda$$k$$\mathrm{E}(R^2)$

$$\frac{\lambda+p-1}{\lambda+n-1}$$

그것은이다 매우 (I 가능한 것 기대했던 것보다 훨씬 엄격한) 꽉 :

예를 들어 다음을 사용합니다.

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

1000 개 이상의 시뮬레이션 에서 R 2 의 평균은 입니다 . 위의 이론 상한은 다음과 같습니다 . 바운드는 많은 R 2 값에서 똑같이 정확 해 보입니다 . 정말 놀랍습니다!$R^2$0.9608190.9609081$R^2$

EDIT2 :

더욱 연구 한 결과,이 표시 의 상한의 근사 품질 것을 E ( R 2 ) 보다로서 얻을 λ + (P)의 증가 (과 다른 모든 동등 λ 로 증가 없음 ).$E(R^2)$$\lambda+p$$\lambda$$n$

Any linear model can be written $\boxed{Y=\mu+\sigma G}$ where $G$ has the standard normal distribution on $\mathbb{R}^n$ and $\mu$ is assumed to belong to a linear subspace $W$ of $\mathbb{R}^n$. In your case $W=\text{Im}(X)$.

Let $[1] \subset W$ be the one-dimensional linear subspace generated by the vector $(1,1,\ldots,1)$. Taking $U=[1]$ below, the $R^2$ is highly related to the classical Fisher statistic

$$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$$ for the hypothesis test of $H_0\colon\{\mu \in U\}$ where $U\subset W$ is a linear subspace, and denoting by $Z=U^\perp \cap W$ the orthogonal complement of $U$ in $W$, and denoting $m=\dim(W)$ and $\ell=\dim(U)$ (then $m=p$ and $\ell=1$ in your situation).

Indeed,

$$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$$ because the definition of $R^2$ is $$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$$

Obviously $\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$ and $\boxed{P_W^\perp Y = \sigma P_W^\perp G}$.

When $H_0\colon\{\mu \in U\}$ is true then $P_Z \mu = 0$ and therefore

$$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$$ has the Fisher $F_{m-\ell,n-m}$ distribution. Consequently, from the classical relation between the Fisher distribution and the Beta distribution, $R^2 \sim {\cal B}(m-\ell, n-m)$.

In the general situation we have to deal with $P_Z Y = P_Z \mu + \sigma P_Z G$ when $P_Z\mu \neq 0$. In this general case one has ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$, the noncentral $\chi^2$ distribution with $m-\ell$ degrees of freedom and noncentrality parameter $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$, and then $\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$ (noncentral Fisher distribution). This is the classical result used to compute power of $F$-tests.

The classical relation between the Fisher distribution and the Beta distribution hold in the noncentral situation too. Finally $R^2$ has the noncentral beta distribution with "shape parameters" $m-\ell$ and $n-m$ and noncentrality parameter $\lambda$. I think the moments are available in the literature but they possibly are highly complicated.

Finally let us write down $P_Z\mu$. Note that $P_Z = P_W - P_U$. One has $P_U \mu = \bar\mu 1$ when $U=[1]$, and $P_W \mu = \mu$. Hence $P_Z \mu =\mu - \bar\mu 1$ where here $\mu=X\beta$ for the unknown parameters vector $\beta$.