«least-squares» 태그된 질문

저는 머신 러닝을 처음 사용하며 스스로 배우려고합니다. 최근에 저는 강의 노트를 읽고 기본적인 질문을했습니다. 슬라이드 13은 "최소 제곱 추정값은 가우스 모형의 최대 우도 추정값과 동일합니다"라고 말합니다. 단순한 것 같지만 이것을 볼 수 없습니다. 누군가 여기서 무슨 일이 일어나고 있는지 설명해 주시겠습니까? 나는 수학을보고 싶다. 나중에 Ridge와 Lasso 회귀에 대한 확률 …

26 regression  bayesian  least-squares 

간단한 회귀 모형에서 y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, OLS 추정기 및 은 서로 관련되어 있습니다.ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} 두 추정기 사이의 상관 관계 공식은 다음과 같습니다. Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. 질문 : 상관의 존재에 대한 직관적 인 설명은 무엇입니까? 상관 관계의 존재에 중요한 의미가 있습니까? 게시물이 편집 …

25 regression  least-squares  estimators 

분산 분석 대 다중 선형 회귀 분석? 이 두 가지 방법 모두 동일한 통계 모델을 사용하는 것 같습니다. 그러나 어떤 상황에서 어떤 방법을 사용해야합니까? 비교할 때 이러한 방법의 장단점은 무엇입니까? 왜 ANOVA가 실험 연구에서 일반적으로 사용되며 회귀 연구를 거의 찾지 못하는가?

24 anova  multiple-regression  least-squares 

내 데이터 포인트 중 최고의 선형 근사치 (최소 제곱 사용)가 선 이면 근사 오차를 어떻게 계산할 수 있습니까? 관측 값과 예측값 의 차이의 표준 편차를 계산하면 나중에 실수 (관측되지는 않음) 값 이 구간 정규 분포를 가정 할 때 확률이 ~ 68 % 인 ( )?e i = r e a …

24 regression  normal-distribution  least-squares  prediction-interval 

다중 회귀에 대한 예측 구간을 계산하기위한 대수 표기법은 무엇입니까? 어리석게 들리지만, 이것의 명확한 대수 표기법을 찾는 데 어려움을 겪고 있습니다.

24 multiple-regression  least-squares  prediction-interval 

문제는 매우 간단합니다. 왜 선형 또는 비선형 데이터에 모델을 맞추려고 할 때 일반적으로 모델 매개 변수에 대한 추정값을 얻기 위해 오차 제곱의 합을 최소화하려고합니까? 최소화하기 위해 다른 목적 함수를 선택하지 않겠습니까? 기술적 인 이유로 2 차 함수는 다른 함수 (예 : 절대 편차의 합)보다 우수하다는 것을 이해합니다. 그러나 이것은 여전히 …

23 econometrics  least-squares 

여러 회귀 분석을 수행 하고 변수 의 변화에 ​​대한 변수 의 평균 변화를보고 다른 모든 변수를 일정하게 유지하면 다른 변수를 일정하게 유지하는 값은 무엇입니까? 그들의 뜻은? 제로? 어떤 가치?yyyxxx 나는 그것이 어떤 가치가 있다고 생각하는 경향이있다. 설명을 찾고 있습니다. 누군가 증거가 있다면, 그것도 좋을 것입니다.

22 multiple-regression  interpretation  least-squares  regression-coefficients  controlling-for-a-variable 

조건부 평균 관계를 절대적으로 이해해야하는 고유 한 상황 외에도 연구원이 Quantile Regression보다 OLS를 선택해야하는 상황은 무엇입니까? 나는 중간 회귀를 OLS 대체물로 사용할 수 있기 때문에 "꼬리 관계를 이해하는 데 쓸모가 없다면"이라는 대답을 원하지 않습니다.

22 least-squares  econometrics  regression-strategies  quantile-regression  semiparametric 

Bishop의 "패턴 인식 및 머신 러닝"4 장 204 페이지 4 장에 최소 사각형 솔루션이 왜 나쁜 결과를 제공하는지 이해하지 못하는 이미지가 있습니다. 이전 단락은 다음 이미지에서 볼 수 있듯이 최소 제곱 솔루션이 특이 치에 대한 견고성이 부족하다는 사실에 관한 것이었지만 다른 이미지에서 진행되는 일을 얻지 못하고 LS가 결과가 좋지 않은 …

21 classification  least-squares 

이 질문에 비추어 : OLS 모델의 계수가 (nk) 자유도의 t- 분포를 따르는 증거 왜 그런지 이해하고 싶습니다 에프= ( TSS − RSS ) / ( p − 1 )RSS / ( n − p ),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, 여기서 는 모형 모수 의 개수 이고 은 관측치의 수이며 는 총 …

20 regression  hypothesis-testing  least-squares  f-distribution  f-statistic 

나는 PCA와 SVD를 수학적으로 계산하는 방법을 알고 있으며, 둘 다 선형 최소 제곱 법 회귀에 적용 할 수 있다는 것을 알고 있습니다. SVD의 주요 장점은 수학적으로 비 제곱 행렬에 적용될 수 있다는 것입니다. 둘 다 행렬 의 분해에 중점을 둡니다 . 언급 된 SVD의 이점 외에, PCA를 통해 SVD를 사용하여 …

20 pca  least-squares  svd 

최근에 적용된 계량 경제학 문헌에서, 특징 선택 문제를 다룰 때, 선택된 변수를 사용하여 LASSO를 수행 한 다음 OLS 회귀를 수행하는 것은 드문 일이 아니라는 것을 발견했습니다. 그러한 절차의 유효성을 어떻게 검증 할 수 있는지 궁금했습니다. 변수 생략과 같은 문제가 발생합니까? 더 효율적이거나 결과가 더 해석 가능하다는 증거가 있습니까? 다음은 몇 …

20 regression  feature-selection  econometrics  least-squares  lasso 

나는 OLS 회귀로 시작합니다 : 여기서 D는 더미 변수이고 p 값이 낮 으면 추정값이 0과 다릅니다. 그런 다음 Ramsey RESET 테스트를 수행하고 방정식의 오탈자가 있음을 발견합니다. 따라서 제곱 x를 포함합니다 .y = β 0 + β 1 x 1 + β 2 x 2 1 + β 3 D + …

20 regression  multiple-regression  interpretation  least-squares  polynomial 

나는 하나의 오래된 참 / 거짓 시험에서이 진술을 읽었습니다. 그라디언트 디센트를 사용하여 제곱 오차의 합계를 최소화하여 선형 회귀 문제를 해결하면 여러 지역 최적 솔루션을 얻을 수 있습니다. 솔루션 : False 내 질문은,이 질문의 어느 부분이 잘못 되었습니까? 이 진술이 왜 거짓입니까?

19 least-squares  gradient-descent  convex 

경우 전체 순위의 역은 존재하고 우리는 최소 제곱 추정 얻을 : 및X T X β = ( X T X ) - 1 X Y 바르 ( β ) = σ 2 ( X T X ) - 1XXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} 분산 공식에서 을 직관적으로 설명하는 방법은 무엇입니까? …

18 regression  variance  least-squares