“비모수 통계 모델”의 실제 예는 무엇입니까?

12

통계 모델 에 관한 Wikipedia 기사를 읽고 있으며 , "비모수 통계 모델"의 의미에 대해 다소 당황합니다.

매개 변수 세트 가 무한 치수 인 경우 통계 모델은 비모수 적입니다. 통계 모델은 유한 차원 매개 변수와 무한 차원 매개 변수가 모두 있으면 반모 수적 입니다. 공식적으로 가 의 차원 이고 이 샘플 수인 경우 반모 수 및 비모수 모델 모두 를 로 갖습니다 . 만일 로서 다음 모델 semiparametric이고; 그렇지 않으면 모델이 비모수 적입니다. $\Theta$ $d$ $\Theta$ $n$ $d \rightarrow \infty$ $n \rightarrow \infty$ $d/n \rightarrow 0$ $n \rightarrow \infty$

모델의 차원 (말 그대로 매개 변수의 수를 의미한다고 생각하면)이 유한 한 경우 이것은 파라 메트릭 모델입니다.

나에게 이해가되지 않는 것은, 우리가 그것을 "비모수 적 (non-parametric)"이라고 부르는 무한한 수의 매개 변수 를 가진 통계 모델을 가질 수있는 방법 이다. 더욱이, 그 경우에도, "차원이 아닌"이유는 실제로 무한한 수의 차원이 있다면? 마지막으로, 기계 학습 배경에서이 문제를 다루고 있으므로이 "비모수 적 통계 모델"과 "비모수 적 기계 학습 모델"사이에 어떤 차이가 있습니까? 마지막으로, "비모수 무한 치수 모델"의 구체적인 예는 무엇입니까?

nonparametric model

— 크레아 트론
소스

3

다른 위키 페이지 사용 ( en.wikipedia.org/wiki/… ) : '비모수 적 모델은 모델 구조가 선험적으로 지정되지 않고 대신 데이터에서 결정된다는 점에서 모수 적 모델과 다릅니다. 비모수라는 용어는 이러한 모델에 매개 변수가 완전히 없다는 것을 의미하는 것이 아니라 매개 변수의 수와 특성이 유연하고 사전에 고정되어 있지 않다는 것을 의미합니다. ' 따라서 비모수에는 무한한 수의 매개 변수가 없지만 알려지지 않은 수의 매개 변수가 있습니다.

— Riff

의심 스럽다. 비모수 적 모델에서는 모델의 구조를 우선적으로 정의합니다. 예를 들어 의사 결정 트리 (비모수 적 모델)에서 max_depth를 정의합니다. 그렇다면이 매개 변수가 실제로 데이터 자체에서 배우고 결정되고 우리가 미리 결정하지 않았다고 어떻게 말할 수 있습니까?

— Amarpreet Singh

5

Johnnyboycurtis가 대답했듯이 비모수 적 방법은 모수 분포 또는 표본 크기를 가정하여 모델을 생성하지 않는 방법입니다.

k-NN 모델은 모델을 개발하기위한 가정을 고려하지 않으므로 비모수 적 모델의 예입니다. Naive Bayes 또는 K-means는 모형 작성을위한 분포를 가정 할 때 매개 변수의 예입니다.

예를 들어, K- 평균은 다음을 가정하여 모델을 개발합니다. 모든 군집은 구형입니다 (iid Gaussian). 모든 축은 동일한 분포를 가지므로 분산입니다. 모든 클러스터의 크기는 균등합니다.

k-NN은 예측을 위해 완전한 훈련 세트를 사용합니다. 예측을 위해 테스트 지점에서 가장 가까운 이웃을 계산합니다. 모델 작성에 대한 분배가 없다고 가정합니다.

더 많은 정보를 위해서:

— 프라 샨스
소스

이 확장 할 수 있습니까? KNN이 비모수의 예인 이유와 K- 평균의 이유는 무엇입니까? 그것은 비 파라 메트릭 방법의 ESP 예, 후 나는 그 세부 사항을, 그리고 왜 / 어떻게 그들은 인구 분포 가정을 가지고 있겠지. 감사!

— Creatron

@Creatron 자세한 설명을 위해 답변을 수정했습니다.

— prashanth

3

그래서, 당신이 몇 가지 점을 놓친 것 같습니다. 가장 중요한 것은

모집단 분포 또는 표본 크기에 대한 가정이없는 경우 통계적 방법을 비모수 적이라고합니다.

다음은 일부 비 파라 메트릭 모델에 대한 간단한 (적용된) 자습서입니다. http://www.r-tutor.com/elementary-statistics/non-parametric-methods

연구원은 비 파라 메트릭 모델 대 파라 메트릭 모델을 사용하기로 결정할 수도 있습니다. ML 배경에서 왔으므로 일반적인 선형 회귀 모델 가정을 배우지 않았다고 가정합니다. 다음은 참조입니다 : https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

가정을 위반하면 모수 추정값이 왜곡 될 수 있으며 결과적으로 잘못된 결론의 위험이 높아집니다. 비모수 적 모델은 특이 치, 비선형 관계에 대해 더 강력하고 많은 인구 분포 가정에 의존하지 않으므로 추론이나 예측을 시도 할 때 더 신뢰할만한 가치있는 결과를 제공 할 수 있습니다.

비모수 적 회귀에 대한 빠른 자습서를 보려면 다음 슬라이드를 권장합니다. http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf

— 존
소스

링크 주셔서 감사합니다, 나는 그들을 통해 갈 것입니다. 한 가지 사실, 우리는 이것을 "비모수 적"모델을 구성하는 "무한 수의 매개 변수"와 어떻게 결혼해야합니까? 감사합니다

— Creatron

"무한한 수의 매개 변수"에 대한 인용이 없으므로 언급 할 수 없습니다. 비모수 통계 모델 주제에 대한 참조를 본 적이 없으므로 답변 / 해석을 제공하기 전에 참조를 확인해야합니다. 지금은 특정 모델과 전체 필드에 대한 가정에 대해 걱정할 것입니다.

— Jon

내 질문에 인용 된 위키 백과 기사는 무한 차원을 나타냅니다. 말 그대로 : "매개 변수 세트가 무한 치수 인 경우 통계 모델은 비모수 적입니다." 이것은 무엇을 의미 하는가? 이것이 내가 말하는 것입니다.

— Creatron

알아. 그러나 Wikipedia는 그 진술에 대한 인용을 제공하지 않습니다. 참조없이 무언가를 신뢰할 수 없습니다.

— Jon

3

현재 머신 러닝 과정을 진행 중이며 비모수 적 모델에 대한 다음 정의를 사용합니다. "비모수 적 모델은 데이터 크기에 따라 복잡해집니다."

파라 메트릭 모델

의미가 무엇인지 알아보기 위해 선형 회귀, 파라 메트릭 모델을 살펴 보겠습니다 : : 매개 변수화 된 함수를 예측하려고합니다 . 의 차원은 숫자와 무관 합니다 관측치 또는 데이터 크기 $w \in ℝ ^d$

f (x) = w^{T} x

$f(x) = w^Tx$

비모수 적 모델

대신 커널 회귀 분석은 다음 함수를 예측하려고 시도합니다. 여기서 데이터 포인트가 있으며 는 가중치이고 는 커널 함수입니다. 여기서 매개 변수의 수 는 데이터 점의 수 에 의존 합니다 .

f (x) = \sum_{i = 1}^{n} α_{i} k (x_{i}, x)

$f(x) = \sum_{i=1}^n \alpha_i k(x_i, x)$

n

$n$

α_{i}

$\alpha_i$

k (x_{i}, x)

$k(x_i, x)$

α_{i}

$\alpha_i$

n

$n$

커널 화 된 퍼셉트론에 대해서도 마찬가지입니다.

f (x) = s i g n (\sum_{i = 1}^{n} α_{i} y_{i} k (x_{i}, x)))

$f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x)))$

다시 정의로 돌아가서 d는 의 수라고 . 만약 우리가 한다면 . 바로 위키피디아 정의가 요구하는 것입니다. $\alpha_i$ $n \to \infty$ $d \to \infty$

강의 슬라이드에서 커널 회귀 함수와 wikipedia에서 커널 화 된 퍼셉트론 함수를 사용했습니다 : https://en.wikipedia.org/wiki/Kernel_method

— sop_se
소스