«least-squares» 태그된 질문

변수의 관측 값 및 변수 값에 따라 조정 된 관측 값의 기대 값과 같이 두 수량 간의 제곱 차를 최소화하기 위해 모수 값을 선택하는 일반 추정 기법을 나타냅니다. 가우시안 선형 모델은 최소 제곱에 적합하며 최소 제곱은 추정기를 평가하는 방법으로 MSE (평균 제곱 오차)를 사용하는 아이디어입니다.


3
대각선에 상수를 추가하여 릿지 추정치가 OLS보다 나은 이유는 무엇입니까?
나는 능선 회귀 추정치는 것을 이해 의 크기에 잔류 제곱의 합 페널티 킥을 최소화βββ\betaββ\beta βr i d g e= ( λ I디+ X'엑스)− 1엑스'와이= 아르 기민[ RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] 그러나, 나는 완전히 그 사실의 중요성을 이해하지 못하는 β산등성이βridge\beta_\text{ridge} 다릅니다 βOLSβOLS\beta_\text{OLS} 만의 …

3
절대 오차 또는 평균 제곱 오차를 의미합니까?
왜 평균 절대 오차 (MAE) 대신 RMSE (루트 평균 제곱 오차)를 사용합니까? 안녕하세요 계산에서 생성 된 오류를 조사했습니다. 처음에는 오류를 루트 평균 정규화 제곱 오류로 계산했습니다. 좀 더 자세히 살펴보면 오차를 제곱하는 효과가 작은 오차보다 큰 오차에 더 많은 가중치를 부여하여 오차 추정치를 홀수 이상 값으로 기울입니다. 이것은 회고에서 분명합니다. …
58 least-squares  mean  rms  mae 

3
Y를 정규 분포해야한다는 오해는 어디에서 오는가?
겉보기에 평판이 좋은 소스는 종속 변수가 정상적으로 분포되어야한다고 주장합니다. 모형 가정 : 는 정규 분포, 오차는 정규 분포 및 독립적이며 는 고정되어 있으며 상수 분산은 입니다.YYYei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2)XXXσ2σ2\sigma^2 Penn State, STAT 504 불연속 데이터 분석 둘째, 선형 회귀 분석에서는 모든 변수가 다변량 정규이어야합니다. 통계적 해법, 선형 회귀 가정 이것은 반응 …

5
OLS 잔차가 정규 분포를 따르지 않은 경우의 회귀
이 사이트 에는 OLS 잔차가 점진적 으로 정규 분포 되어 있는지 확인 하는 방법 에 대해 설명 하는 여러 스레드가 있습니다 . R 코드로 잔차의 정규성을 평가하는 또 다른 방법이이 훌륭한 답변에 제공됩니다 . 이것은 표준화 잔차와 관측 잔차의 실제적인 차이에 대한 또 다른 논의 입니다. 그러나이 예제 에서처럼 잔차가 …



4
왜 다른 것 대신 S 자형 기능이 필요한가?
사실상의 표준 시그 모이 드 함수 인 이 (심층적이지 않은) 신경망과 로지스틱 회귀 분석에서 왜 그렇게 인기가 있습니까?11+e−x11+e−x\frac{1}{1+e^{-x}} 계산 시간이 빠르거나 감쇄 속도가 느린 다른 많은 파생 함수를 사용하지 않는 이유는 무엇입니까? S 자형 함수에 대한 Wikipedia 에는 몇 가지 예가 있습니다 . 느린 부패와 빠른 계산으로 내가 가장 좋아하는 …

5
능선 회귀 솔루션을 도출하는 방법은 무엇입니까?
능선 회귀에 대한 솔루션 도출에 문제가 있습니다. 정규화 용어가없는 회귀 솔루션을 알고 있습니다. β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. 그러나 L2 항 를 비용 함수에 추가 한 후 솔루션은 어떻게됩니까?λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

5
제곱 오차를 최소화하는 것이 절대 오차를 최소화하는 것과 같습니까? 왜 제곱 오차가 후자보다 더 인기가 있습니까?
선형 회귀 를 수행하여 많은 데이터 포인트 에 고전적인 접근 방식으로 제곱 오차가 최소화됩니다. 나는 제곱 오차를 최소화하는 것이 절대 오차를 최소화하는 것과 동일한 결과를 산출 한다는 질문에 오랫동안 당황했습니다 . 그렇지 않다면 왜 제곱 오차를 최소화하는 것이 더 낫습니까? "객관적인 기능이 구별 가능하다"이외의 다른 이유가 있습니까?y=ax+by=ax+by=ax+b(x1,y1),(x2,y2),...,(xn,yn)(x1,y1),(x2,y2),...,(xn,yn)(x_1,y_1),(x_2,y_2),...,(x_n,y_n) 제곱 오차는 모델 …

8
변경 점수에 대한 독립 변수의 효과를 테스트 할 때 기준 측정 값을 제어 변수로 포함하는 것이 유효합니까?
OLS 회귀를 실행하려고합니다. DV : 1 년에 걸친 체중 변화 (초기 체중-최종 체중) IV : 운동 여부. 그러나 무거운 사람이 얇은 사람보다 운동 단위당 더 많은 체중을 잃는 것이 합리적입니다. 따라서 제어 변수를 포함하고 싶었습니다. CV : 초기 시작 무게. 그러나 이제 초기 가중치 를 사용하여 종속 변수 AND를 제어 …

1
OLS 모델의 계수가 (nk) 자유도의 t- 분포를 따르는 지 증명
배경 회귀 모형에 계수 가있는 정규 최소 제곱 모형이 있다고 가정합니다 . kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} 여기서 이다 계수들의 벡터는, 은 IS 설계 행렬 에 의해 정의 된ββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots …

3
PCA를 통해 직교 회귀 (총 최소 제곱)를 수행하는 방법은 무엇입니까?
나는 항상 lm()R 에서 에 선형 회귀를 수행하기 위해 사용 합니다. 이 함수는 와 같은 계수 반환합니다x β y = β x .와이와이y엑스엑스xββ\beta와이= βx .와이=β엑스.y = \beta x. 오늘 나는 최소 최소 제곱 에 대해 배웠고 그 princomp()기능 (주성분 분석, PCA)을 사용하여 그것을 수행 할 수 있습니다. 나에게 좋을 것입니다 …

1
lmer 모델의 효과 반복 계산
방금 혼합 효과 모델링을 통해 측정의 반복성 (일명 신뢰성, 일명 클래스 내 상관 관계)을 계산하는 방법을 설명하는 이 문서를 보았습니다. R 코드는 다음과 같습니다. #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = intercept_var/(intercept_var+residual_var) …
28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 


당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.