«least-squares» 태그된 질문

어떤 상황에서 OLS 대신 정규화 방법 (리지, 올가미 또는 최소 각도 회귀)을 사용해야합니까? 이것이 토론을 이끌어내는 데 도움이되는 경우 나의 주요 관심사는 예측 정확도를 향상시키는 것입니다.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

나는 능선 회귀 추정치는 것을 이해 의 크기에 잔류 제곱의 합 페널티 킥을 최소화βββ\betaββ\beta βr i d g e= ( λ I디+ X'엑스)− 1엑스'와이= 아르 기민[ RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] 그러나, 나는 완전히 그 사실의 중요성을 이해하지 못하는 β산등성이βridge\beta_\text{ridge} 다릅니다 βOLSβOLS\beta_\text{OLS} 만의 …

59 regression  least-squares  ridge-regression  shrinkage 

왜 평균 절대 오차 (MAE) 대신 RMSE (루트 평균 제곱 오차)를 사용합니까? 안녕하세요 계산에서 생성 된 오류를 조사했습니다. 처음에는 오류를 루트 평균 정규화 제곱 오류로 계산했습니다. 좀 더 자세히 살펴보면 오차를 제곱하는 효과가 작은 오차보다 큰 오차에 더 많은 가중치를 부여하여 오차 추정치를 홀수 이상 값으로 기울입니다. 이것은 회고에서 분명합니다. …

58 least-squares  mean  rms  mae 

겉보기에 평판이 좋은 소스는 종속 변수가 정상적으로 분포되어야한다고 주장합니다. 모형 가정 : 는 정규 분포, 오차는 정규 분포 및 독립적이며 는 고정되어 있으며 상수 분산은 입니다.YYYei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2)XXXσ2σ2\sigma^2 Penn State, STAT 504 불연속 데이터 분석 둘째, 선형 회귀 분석에서는 모든 변수가 다변량 정규이어야합니다. 통계적 해법, 선형 회귀 가정 이것은 반응 …

45 regression  least-squares  linear-model  dependent-variable 

이 사이트 에는 OLS 잔차가 점진적 으로 정규 분포 되어 있는지 확인 하는 방법 에 대해 설명 하는 여러 스레드가 있습니다 . R 코드로 잔차의 정규성을 평가하는 또 다른 방법이이 훌륭한 답변에 제공됩니다 . 이것은 표준화 잔차와 관측 잔차의 실제적인 차이에 대한 또 다른 논의 입니다. 그러나이 예제 에서처럼 잔차가 …

43 regression  least-squares  residuals  assumptions  normality-assumption 

최대 우도 추정 (MLE)과 최소 제곱 추정 (LSE)의 주요 차이점은 무엇입니까? 선형 회귀 분석에서 값 을 예측하기 위해 MLE을 사용할 수없는 이유는 무엇 입니까?와이yy 이 주제에 대한 도움을 주시면 감사하겠습니다.

42 regression  estimation  maximum-likelihood  least-squares 

나는 보통 "보통 최소 제곱"에 대해 듣습니다. 이것이 선형 회귀에 가장 널리 사용되는 알고리즘입니까? 다른 것을 사용해야 할 이유가 있습니까?

42 regression  least-squares  algorithms  computational-statistics  numerics 

사실상의 표준 시그 모이 드 함수 인 이 (심층적이지 않은) 신경망과 로지스틱 회귀 분석에서 왜 그렇게 인기가 있습니까?11+e−x11+e−x\frac{1}{1+e^{-x}} 계산 시간이 빠르거나 감쇄 속도가 느린 다른 많은 파생 함수를 사용하지 않는 이유는 무엇입니까? S 자형 함수에 대한 Wikipedia 에는 몇 가지 예가 있습니다 . 느린 부패와 빠른 계산으로 내가 가장 좋아하는 …

40 logistic  neural-networks  least-squares 

능선 회귀에 대한 솔루션 도출에 문제가 있습니다. 정규화 용어가없는 회귀 솔루션을 알고 있습니다. β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. 그러나 L2 항 를 비용 함수에 추가 한 후 솔루션은 어떻게됩니까?λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

선형 회귀 를 수행하여 많은 데이터 포인트 에 고전적인 접근 방식으로 제곱 오차가 최소화됩니다. 나는 제곱 오차를 최소화하는 것이 절대 오차를 최소화하는 것과 동일한 결과를 산출 한다는 질문에 오랫동안 당황했습니다 . 그렇지 않다면 왜 제곱 오차를 최소화하는 것이 더 낫습니까? "객관적인 기능이 구별 가능하다"이외의 다른 이유가 있습니까?y=ax+by=ax+by=ax+b(x1,y1),(x2,y2),...,(xn,yn)(x1,y1),(x2,y2),...,(xn,yn)(x_1,y_1),(x_2,y_2),...,(x_n,y_n) 제곱 오차는 모델 …

38 least-squares  error 

OLS 회귀를 실행하려고합니다. DV : 1 년에 걸친 체중 변화 (초기 체중-최종 체중) IV : 운동 여부. 그러나 무거운 사람이 얇은 사람보다 운동 단위당 더 많은 체중을 잃는 것이 합리적입니다. 따라서 제어 변수를 포함하고 싶었습니다. CV : 초기 시작 무게. 그러나 이제 초기 가중치 를 사용하여 종속 변수 AND를 제어 …

38 regression  repeated-measures  least-squares  change-scores 

배경 회귀 모형에 계수 가있는 정규 최소 제곱 모형이 있다고 가정합니다 . kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} 여기서 이다 계수들의 벡터는, 은 IS 설계 행렬 에 의해 정의 된ββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots …

29 regression  linear-model  least-squares  t-distribution 

나는 항상 lm()R 에서 에 선형 회귀를 수행하기 위해 사용 합니다. 이 함수는 와 같은 계수 반환합니다x β y = β x .와이와이y엑스엑스xββ\beta와이= βx .와이=β엑스.y = \beta x. 오늘 나는 최소 최소 제곱 에 대해 배웠고 그 princomp()기능 (주성분 분석, PCA)을 사용하여 그것을 수행 할 수 있습니다. 나에게 좋을 것입니다 …

29 r  pca  least-squares  deming-regression  total-least-squares 

방금 혼합 효과 모델링을 통해 측정의 반복성 (일명 신뢰성, 일명 클래스 내 상관 관계)을 계산하는 방법을 설명하는 이 문서를 보았습니다. R 코드는 다음과 같습니다. #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = intercept_var/(intercept_var+residual_var) …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

OLS 모델에서 RSS (잔여 제곱합)가 ( 는 모델의 매개 변수 수, 관측치 수 )로 분포 된 이유를 이해하고 싶습니다 .χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn 그런 기본적인 질문을 한 것에 대해 사과하지만 온라인 (또는 내 응용 프로그램 중심의 교과서)에서 답을 찾을 수없는 것 같습니다.

28 regression  distributions  least-squares