선형 회귀 분석에 사용되는 가우스 기본 함수 매개 변수 이해

가우스 기저 함수를 선형 회귀 구현에 적용하고 싶습니다. 불행히도 기본 기능의 몇 가지 매개 변수를 이해하는 데 어려움을 겪고 있습니다. 구체적으로 $\mu$ 및 $\sigma$ 입니다.

내 데이터 세트는 10,000 x 31 행렬입니다. 10,000 개의 샘플과 31 개의 기능. "각 기본 함수는 입력 벡터 x를 스칼라 값으로 변환합니다"를 읽었습니다. 따라서 x는 1 샘플이므로 1 x 31 벡터라고 가정합니다. 여기에서 나는 혼란스러워한다. 정확히 무엇 $\mu_j$ 매개 변수는? 이것이 기본 기능의 위치를 ​​결정한다는 것을 읽었습니다. 이것이 뭔가의 의미가 아닙니까? 나는 또한 아래 첨자 j ( $\mu$ 및 $\phi$ )에 의해 던져졌습니다 . 이는 j 번째 행을 생각하게합니다. 그러나 그것은 말이되지 않는 것 같습니다. 는 IS $\mu_j$ 벡터? 이제 $\sigma$"공간적 규모를 관장합니다". 정확히 무엇입니까? 이 매개 변수에 대해 .1, .5, 2.5와 같은 값을 시도하는 일부 구현을 보았습니다. 이 값들은 어떻게 계산됩니까? 나는 연구를 해왔고 배우는 예제를 찾고 있었지만 아직까지는 찾을 수 없었습니다. 어떤 도움이나 지시라도 대단히 감사합니다! 감사합니다.

혼란 스러울 때 문제를 말하고 하나씩 질문을하면서 시작하겠습니다. 표본 크기는 10,000이며 각 표본은 특징 벡터 설명됩니다 . 그러면 가우시안 방사 기저 함수를 이용하여 회귀 분석을 수행 할 경우, 폼의 기능을 찾고 F ( X ) = Σ J w J * g의 J ( X ; μ J , σ J ) , J = 1 ... m g의 $x\in\mathbb{R}^{31}$

$$f(x) = \sum_{j}{w_j * g_j(x; \mu_j,\sigma_j}), j=1..m$$ $g_i$기본 기능입니다. 구체적으로, 찾아야 가중치 w는 J 즉 주어진 파라미터 있도록 μ J 및 σ J 는과의 오차 최소화 Y 및 대응 예측 Y = F ( X를 ) - 일반적으로는 최소 제곱 오차를 최소화한다.$m$$w_j$$\mu_j$$\sigma_j$$y$$\hat{y}$$f(\hat{x})$

Mu 아래 첨자 j 매개 변수는 정확히 무엇입니까?

기본 함수 g j 를 찾아야 합니다. (당신은 여전히 숫자를 결정해야 m를 각 기저 함수가있을 것이다) μ의 J 와 σ의 J (도 알 수없는). 아래 첨자 j 는 1 내지 m의 범위이다 .$m$$g_j$$m$$\mu_j$$\sigma_j$$j$$1$$m$

는 IS 벡터?$\mu_j$

예, 의 요점입니다 . 다시 말해, 피쳐 공간 어딘가에있는 점 이며 각 m 기준 함수 에 대해 μ 를 결정해야합니다 .$\mathbb{R}^{31}$$\mu$$m$

이것이 기본 기능의 위치를 ​​결정한다는 것을 읽었습니다. 이것이 뭔가의 의미가 아닙니까?

$j^{th}$$\mu_j$

이제 "공간 규모를 관장하는"시그마에 대해. 정확히 무엇입니까?

$\sigma$

$\mathbb{R}^{1}$$\mathbb{R}^{2}$$\mathbb{R}^{1}$$\sigma$$\sigma$$\sigma$$\sigma$$\sigma$

$\mathbb{R}^{1}$$x$$g_j(x)$$g_j(x)$$g_j(x)$

각 기저 함수는 입력 벡터 x를 스칼라 값으로 변환

$\mathbf{x}\in\mathbb{R}^{31}$

$$\exp\left({-\frac{\|\mathbf{x}-\mu_j\|_2^2}{2*\sigma_j^2}}\right)$$

결과적으로 스칼라를 얻습니다. 스칼라 결과는 의해 주어진 중심으로부터 지점의 거리에 따라 달라집니다 스칼라 입니다.$\mathbf{x}$$\mu_j$$\|\mathbf{x}-\mu_j\|$$\sigma_j$

이 매개 변수에 대해 .1, .5, 2.5와 같은 값을 시도하는 일부 구현을 보았습니다. 이 값들은 어떻게 계산됩니까?

이것은 물론 가우스 방사형 기저 함수를 사용하는 데있어 흥미롭고 어려운 측면 중 하나입니다. 웹을 검색하면 이러한 매개 변수가 어떻게 결정되는지에 대한 많은 제안을 찾을 수 있습니다. 매우 간단한 용어로 클러스터링을 기반으로 한 가지 가능성을 간략하게 설명하겠습니다. 이 제안과 다른 몇 가지 제안을 온라인에서 찾을 수 있습니다.

먼저 10000 개의 샘플을 클러스터링합니다 (먼저 PCA를 사용하여 차원을 줄이고 k- 평균 클러스터링을 수행 할 수 있음). 당신은 할 수 당신이 (일반적으로 가장 결정하기 위해 교차 유효성 검사를 사용 찾을 클러스터의 숫자 ). 이제 각 클러스터에 대해 방사형 기본 함수 를 만듭니다. 각 방사형 기저 함수에 대해 의 중심 (예 : 평균, 중심 등)으로합니다. 하자 (예를 들어 반경이 ...) 이제 가서 당신의 회귀를 수행하는 클러스터의 폭을 반영 (이 간단한 설명은 각 단계에서 많은 작업을 필요로 단지 개요 -입니다!)$m$$m$$g_j$$\mu_j$$\sigma_j$

* 물론 종 곡선은- 에서 로 정의 되므로 라인의 어느 곳에서나 값을 갖습니다. 그러나 중심에서 멀리 떨어진 값은 무시할 수 있습니다$\infty$$\infty$

간단한 설명을하겠습니다. 이러한 표기법에서 는 행 번호 일 수 있지만 피처 번호 일 수도 있습니다. 우리 쓰면 다음 나타내고, 번호 기능 열 벡터이다 IS 스칼라 및 열인 -벡터. 우리 쓰면 다음, 이고, 행 번호를 스칼라이다 열 벡터이고 인 행 벡터. 행을 나타내고 열을 나타내는 표기법 이 더 일반적이므로 첫 번째 변형을 사용하겠습니다.$j$$y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$$j$$y$$\beta_j$$\phi_j(x)$$y_j=\beta\phi_j(x)$$j$$y_j$$\beta$$\phi_j(x)$$i$$j$

가우스 기저 함수를 선형 회귀 분석에 하면 (스칼라)는 이제 피처 (벡터) 의 숫자 값이 아니라 와 다른 모든 점의 중심 사이의 거리에 따라 달라집니다 . 이런 식으로 는 번째 관측치 의 번째 특성 값 이 높거나 작은 지 여부에 의존하지 않지만 번째 기능 값이 -feature 대한 평균과 가까운 지 또는 멀지 않은지에 따라 달라집니다 . 따라서 는 조정할 수 없으므로 매개 변수가 아닙니다. 데이터 세트의 속성 일뿐입니다. 매개 변수x i x i μ i y i j i j j μ i j μ j σ 2 y y σ $y_i$$x_i$$x_i$$\mu_i$$y_i$$j$$i$$j$$j$$\mu_{ij}$$\mu_j$$\sigma^2$스칼라 값이며, 부드러움을 제어하고 조정할 수 있습니다. 작 으면 거리의 작은 변화가 큰 영향을 미칩니다 (가파른 가우시안 기억 : 이미 중심에서 약간 떨어진 거리에있는 모든 점은 작은 값을 가짐 ). 크면 거리의 작은 변화는 효과가 낮습니다 (평평한 가우시안을 기억하십시오 : 중심으로부터 거리가 멀어 질수록 의 감소 는 느립니다). 최적의 값을 찾아야합니다 (일반적으로 교차 검증으로 확인 됨).$y$$y$$\sigma^2$

다변량 설정의 가우스 기저 함수에는 다변량 중심이 있습니다. 당신의 가정 , 다음 뿐만 아니라. 가우스는 다변량이어야합니다. 즉 여기서 은 공분산 행렬 인덱스 는 벡터의 구성 요소가 아니라 번째 벡터 일뿐 입니다. 마찬가지로 는 번째 행렬입니다. μ j ∈ R 31 e ( x − μ j ) ' Σ - 1 j ( x − μ j ) Σ j ∈ R 31 × 31 j j Σ j$x\in\mathbb{R}^{31}$$\mu_j\in\mathbb{R}^{31}$$e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$$\Sigma_j\in\mathbb{R}^{31\times 31}$$j$$j$$\Sigma_j$$j$