반복적으로 가중 된 최소 제곱의 정의 및 수렴

다음 형식의 기능을 최소화하기 위해 반복적으로 가중치를 매기는 최소 제곱 (IRLS)을 사용하고 있습니다.

$J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right)$

여기서 은 의 인스턴스 수이고 , 은 내가 원하는 강력한 추정치이며 는 적절한 강력한 페널티 함수입니다. 그것이 볼록하고 (엄격히 엄격하지는 않지만) 현재로서는 구별 할 수 있다고 가정 해 봅시다. 이러한 의 좋은 예 는 Huber loss 함수 입니다. $N$ $x_i \in \mathbb{R}$ $m \in \mathbb{R}$ $\rho$ $\rho$

내가하고있는 일은 을 (및 조작)과 차별화 하여 얻는 것입니다. $J(m)$ $m$

$\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right)$

0으로 설정하고 반복 에서의 가중치 를 ( 에서 인식 된 특이점 은 실제로 내가 관심을 가질만한 모든 에서 제거 가능한 특이점입니다 .) 그런 다음 $k$ $w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}$ $x_i=m{(k)}$ $\rho$

$\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0$

제가 수득 해결 . $m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ \sum_{i=1}^{N} w_i(k)}$

"수렴"까지이 고정 소수점 알고리즘을 반복합니다. 고정 점에 도달하면 미분 값이 0이고 볼록 함수이므로 최적입니다.

이 절차에 대해 두 가지 질문이 있습니다.

이것이 표준 IRLS 알고리즘입니까? 주제에 대한 여러 논문을 읽은 후 (그리고 IRLS가 무엇인지에 대해 모호하고 모호한) 이것은 내가 찾을 수있는 알고리즘의 가장 일관된 정의입니다. 사람들이 원하는 경우 논문을 게시 할 수 있지만 실제로는 여기에 누군가를 편향시키고 싶지 않았습니다. 물론이 기본 기술을 벡터 와 이외의 인수와 관련된 다른 많은 유형의 문제로 일반화 할 수 있습니다. 인수를 제공하는 것은 매개 변수의 적절한 기능의 표준입니다. 도움이나 통찰력이 있으면 좋을 것입니다. $x_i$ $\left|x_i-m{(k)}\right|$
컨버전스는 실제로 작동하는 것 같지만 몇 가지 우려가 있습니다. 아직 증거를 보지 못했습니다. 간단한 Matlab 시뮬레이션 후 이것의 반복이 수축 매핑 이 아니라는 것을 알았습니다 ( 두 개의 임의 인스턴스를 생성 하고 계산 때때로 1보다 큽니다. 또한 여러 연속 반복으로 정의 된 매핑은 수축 매핑이 아니지만 Lipschitz 상수가 1보다 높을 확률은 매우 낮습니다. 따라서 수축 매핑 의 개념은 가능성이 있습니까? 이것이 수렴한다는 것을 증명하기 위해 사용하는 기계 장치는 무엇입니까? 심지어 수렴됩니까? $m$ $\frac{\left|m_1(k+1) - m_2(k+1)\right|}{\left|m_1(k)-m_2(k)\right|}$

모든 지침이 도움이됩니다.

편집 : 나는 Daubechies et al.의 스파 스 복구 / 압축 감지를위한 IRLS에 관한 논문을 좋아합니다 arXiv의 2008 년 "반복적으로 재가 중 된 최소 제곱 최소화". 그러나 볼록하지 않은 문제의 무게에 주로 초점을 맞추는 것 같습니다. 제 사건은 훨씬 간단합니다.

— 크리스 에이
소스

IRWLS 의 위키 페이지를 보면 설명하는 절차와 IRWLS의 차이점에 어려움을 겪습니다 (그들은 특정 함수 로 를 사용 합니다). 당신은 당신이 제안하는 알고리즘이 생각하는 방법으로 설명 할 수 다른 IRWLS에서?

| y_{i} - x x_{i}^{'} β β |^{2}

$|y_i-\pmb x_i'\pmb\beta|^2$

ρ

$\rho$

— user603

나는 그것이 다르다는 것을 결코 말하지 않았고, 그것을 암시한다면 의미하지 않았습니다.

— Chris A.

첫 번째 질문에 대해서는 "표준"을 정의하거나 "표준 모델"이 점차 확립되었음을 인정해야합니다. 언급 한 바와 같이, 최소한 IRWLS를 사용하는 방식이 다소 표준적인 것으로 보입니다.

두 번째 질문에 관해서는, "확률에서의 수축 매핑"은 (비공식적으로) "재귀 확률 알고리즘"의 수렴에 연결될 수 있습니다. 내가 읽은 것으로부터 주로 공학에 관한 주제에 관한 거대한 문헌이 있습니다. 경제학에서 우리는 작은 부분을 사용합니다. 특히 Lennart Ljung의 주요 작품-첫 번째 논문은 Ljung (1977) -재귀 확률 알고리즘의 수렴 여부는 안정성 (또는 아닙니다) 관련 일반 미분 방정식.

(다음 의견은 의견에서 OP와 유익한 토론을 한 후 재 작업되었습니다)

수렴

나는 참고로 사용할 세이버 Elaydi "차이 방정식에 소개"2005 년, 3D 에디션. 주어진 데이터 샘플에 대한 분석은 조건부이므로 는 고정 된 것으로 취급됩니다. $x's$

에서 재귀 함수로 간주 목적 함수의 최소화를위한 1 차 조건, , $m$

m (k + 1) = \sum_{i = 1}^{N} v_{i} [m (k)] x_{i}, v_{i} [m (k)] \equiv \frac{w_{i} [m (k)]}{\sum_{i = 1}^{N} w_{i} [m (k)]} [1]

$m(k+1) = \sum_{i=1}^{N} v_i[m(k)] x_i, \;\; v_i[m(k)] \equiv \frac{w_i[m(k)]}{ \sum_{i=1}^{N} w_i[m(k)]} \qquad [1]$

고정 점 (목표 함수의 인수)이 있습니다. 정리 1.13 PP Elaydi 27-28 의하여에 대하여 1 차 도함수 경우 의 RHS의은 , 고정 점에서 평가 , 그것을 나타내는 ,의 1보다 작다 절대 값이면 는 점진적으로 안정적입니다 (AS). 정리 4.3 p.179에 따르면 고정 점이 균일하게 AS (UAS) 임을 의미합니다 . "증상 적으로 안정적"은 고정 소수점 주위의 일부 값 범위에 대해 크기가 반드시 작지는 않지만 이웃 에 대해 고정 소수점이 매력적 임을 의미 합니다. $m$ $[1]$ $m^*$ $A'(m^*)$ $m^*$
$(m^* \pm \gamma)$ 알고리즘이이 이웃에 값을 제공하면 수렴됩니다. "uniform"속성은이 이웃의 경계 및 그 크기가 알고리즘의 초기 값과 무관 함을 의미합니다. 인 경우 고정 소수점은 전역 적으로 UAS 가됩니다 . 우리의 경우에 $\gamma = \infty$

| A^{'} (m^{*}) | \equiv | \sum_{i = 1}^{N} \frac{\partial v_{i} (m^{*})}{\partial m} x_{i} | < 1 [2]

$|A'(m^*)|\equiv \left|\sum_{i=1}^{N} \frac{\partial v_i(m^*)}{\partial m}x_i\right| <1 \qquad [2]$

우리는 UAS 자산을 입증했지만 전 세계적으로 수렴하지 않았습니다. 그런 다음 우리는 어트랙션 주변이 실제로 전체 확장 실수이거나 OP가 주석에 언급 된대로 사용하는 특정 시작 값 (및 IRLS 방법론의 표준), 즉 샘플 평균임을 확인하려고 시도 할 수 있습니다 의 의, , 항상 고정 점의 매력의 이웃에 속한다. $x$ $\bar x$

미분

\frac{\partial v_{i} (m^{*})}{\partial m} = \frac{\frac{\partial w_{i} (m^{*})}{\partial m} \sum_{i = 1}^{N} w_{i} (m^{*}) - w_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}}{{(\sum_{i = 1}^{N} w_{i} (m^{*}))}^{2}}

$\frac{\partial v_i(m^*)}{\partial m} = \frac {\frac{\partial w_i(m^*)}{\partial m}\sum_{i=1}^{N} w_i(m^*)-w_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}}{\left(\sum_{i=1}^{N} w_i(m^*)\right)^2}$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\frac{\partial w_{i} (m^{*})}{\partial m} - v_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\frac{\partial w_i(m^*)}{\partial m}-v_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right]$ 그런 다음

A^{'} (m^{*}) = \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) \sum_{i = 1}^{N} v_{i} (m^{*}) x_{i}]

$A'(m^*) = \frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)\sum_{i=1}^{N}v_i(m^*)x_i\right]$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) m^{*}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)m^*\right]$

과

| A^{'} (m^{*}) | < 1 \Rightarrow | \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [3]

$|A'(m^*)| <1 \Rightarrow \left|\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}(x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [3]$

우리는

\begin{aligned} \frac{\partial w_{i} (m^{*})}{\partial m} = & \frac{- ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} | x_{i} - m^{*} | + \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{3}} ρ^{'} (| x_{i} - m^{*} |) - ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [\frac{ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |} - ρ^{″} (| x_{i} - m^{*} |)] \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] \end{aligned}

$\begin{align}\frac{\partial w_i(m^*)}{\partial m} = &\frac{-\rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|}|x_i-m^*|+\frac {x_i-m^*}{|x_i-m^*|}\rho'(|x_i-m^*|)}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^3}\rho'(|x_i-m^*|) - \rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[\frac {\rho'(|x_i-m^*|)}{|x_i-m^*|}-\rho''(|x_i-m^*|)\right]\\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right] \end{align}$

이 점을 삽입 우리가 $[3]$

| \sum_{i = 1}^{N} \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) |

$\left|\sum_{i=1}^{N}\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right](x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right|$

\Rightarrow | \sum_{i = 1}^{N} w_{i} (m^{*}) - \sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [4]

$\Rightarrow \left|\sum_{i=1}^{N}w_i(m^*)-\sum_{i=1}^{N}\rho''(|x_i-m^*|)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [4]$

이것은 고정 점이 UAS가 되려면 충족되어야하는 조건입니다. 우리의 경우에 페널티 함수는 볼록하기 때문에 관련된 합계는 양수입니다. 조건 는 $[4]$

\sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) < 2 \sum_{i = 1}^{N} w_{i} (m^{*}) [5]

$\sum_{i=1}^{N}\rho''(|x_i-m^*|) < 2\sum_{i=1}^{N}w_i(m^*) \qquad [5]$

만약 가 허버트의 손실 함수라면, 우리는 2 차 ( )와 선형 ( ) 가지를 가지게됩니다. $\rho(|x_i-m|)$ $q$ $l$

ρ (| x_{i} - m |) = {\begin{cases} (1 / 2) | x_{i} - m |^{2} | x_{i} - m | \leq δ \\ δ (| x_{i} - m | - δ / 2) | x_{i} - m | > δ \end{cases}

$\rho(|x_i-m|)=\cases{ (1/2)|x_i- m|^2 \qquad\;\;\;\; |x_i-m|\leq \delta \\ \\ \delta\big(|x_i-m|-\delta/2\big) \qquad |x_i-m|> \delta}$

과

ρ^{'} (| x_{i} - m |) = {\begin{cases} | x_{i} - m | | x_{i} - m | \leq δ \\ δ | x_{i} - m | > δ \end{cases}

$\rho'(|x_i-m|)=\cases{ |x_i- m| \qquad |x_i-m|\leq \delta \\ \\ \delta \qquad \qquad \;\;\;\; |x_i-m|> \delta}$

ρ^{″} (| x_{i} - m |) = {\begin{cases} 1 | x_{i} - m | \leq δ \\ 0 | x_{i} - m | > δ \end{cases}

$\rho''(|x_i-m|)=\cases{ 1\qquad |x_i-m|\leq \delta \\ \\ 0 \qquad |x_i-m|> \delta}$

{\begin{cases} w_{i, q} (m) = 1 | x_{i} - m | \leq δ \\ w_{i, l} (m) = \frac{δ}{| x_{i} - m |} < 1 | x_{i} - m | > δ \end{cases}

$\cases{ w_{i,q}(m) =1\qquad \qquad \qquad |x_i-m|\leq \delta \\ \\ w_{i,l}(m) =\frac {\delta}{|x_i-m|} <1 \qquad |x_i-m|> \delta}$

우리는우리를 이차 분기에 배치하고 선형에 몇 개를 배치하면 조건 를 ( ) 으로 분해합니다 $|x_i-m^*|$ $[5]$ $N_q + N_l = N$

\sum_{i = 1}^{N_{q}} ρ_{q}^{″} + \sum_{i = 1}^{N_{l}} ρ_{l}^{″} < 2 [\sum_{i = 1}^{N_{q}} w_{i, q} + \sum_{i = 1}^{N_{l}} w_{i, l}]

$\sum_{i=1}^{N_q}\rho_q''+\sum_{i=1}^{N_l}\rho_l'' < 2\left[\sum_{i=1}^{N_q}w_{i,q} +\sum_{i=1}^{N_l}w_{i,l}\right]$

\Rightarrow N_{q} + 0 < 2 [N_{q} + \sum_{i = 1}^{N_{l}} w_{i, l}] \Rightarrow 0 < N_{q} + 2 \sum_{i = 1}^{N_{l}} w_{i, l}

$\Rightarrow N_q + 0 < 2\left[N_q +\sum_{i=1}^{N_l}w_{i,l}\right] \Rightarrow 0 < N_q+2\sum_{i=1}^{N_l}w_{i,l}$

보유하고 있습니다. 따라서 Huber 손실 함수의 경우 알고리즘의 고정 점은 관계없이 균일하게 점진적으로 안정적 입니다. 첫 번째 미분 값 은 고정 소수점뿐만 아니라 모든 대한 절대 값이 1보다 작습니다 . $x$ $m$

우리가 지금해야 할 일은 UAS 속성이 전역 적이거나 이면 이 의 인력 근처에 속한다 는 것을 증명하는 것입니다 . $m(0) = \bar x$ $m(0)$ $m^*$

— 알레 코스 파파도풀로스
소스

답변 주셔서 감사합니다. 이 답변을 분석 할 시간을주세요.

— Chris A.

확실히. 결국이 질문은 20 개월 동안 기다렸다.

— Alecos Papadopoulos 8:27에

그래, 나는 그 문제를 생각 나게하고 현상금을 내기로 결정했다. :)

— Chris A.

운이 좋은 날. 나는 20 개월 전에 거기에 없었습니다. 현상금 여부에 관계 없이이 질문을 취했을 것입니다.

— Alecos Papadopoulos

이 답변에 감사드립니다. 지금까지 현상금을 획득 한 것처럼 보입니다. BTW, wrt 의 미분에 대한 색인 작성 은 표기 상 이상합니다. 이 두 번째 줄의 요약에서 와 같은 다른 변수를 사용할 수 없습니다 .

v_{i}

$v_i$

m

$m$

j

$j$

— Chris A.