O (1) 업데이트 효율로 강력한 평균 추정

특정 속성을 가진 평균의 강력한 추정을 찾고 있습니다. 이 통계를 계산하려는 요소 세트가 있습니다. 그런 다음 한 번에 하나씩 새 요소를 추가하고 각 추가 요소마다 통계 (온라인 알고리즘이라고도 함)를 다시 계산하고 싶습니다. 이 업데이트 계산이 빠르기를 원합니다. 바람직하게는 O (1), 즉 목록의 크기에 의존하지 않습니다.

일반적인 평균에는이 속성이있어 효율적으로 업데이트 할 수 있지만 특이 치에는 강하지 않습니다. 사 분위 간 평균 및 트리밍 평균과 같은 평균의 강력한 추정량은 정렬 된 목록을 유지해야하므로 효율적으로 업데이트 할 수 없습니다.

효율적으로 계산 / 업데이트 할 수있는 강력한 통계에 대한 제안을 부탁드립니다.

이 솔루션은 질문에 대한 의견으로 @Innuo의 제안을 구현합니다.

지금까지 본 모든 데이터에서 크기가 100 또는 1000 인 균일하게 샘플링 된 임의의 하위 집합을 유지할 수 있습니다. 이 세트와 관련 "울타리"는 시간에 업데이트 할 수 있습니다 .$O(1)$

이 부분 집합을 유지하는 방법을 알고 나면 그러한 표본에서 모집단의 평균을 추정하기 위해 원하는 방법을 선택할 수 있습니다 . 이것은 표준 통계 샘플링 공식을 사용하여 예측할 수있는 정확도 내에서 모든 입력 스트림 과 작동하는 가정을 전혀 사용하지 않는 보편적 인 방법 입니다. (정확도는 표본 크기의 제곱근에 반비례합니다.)

이 알고리즘은 입력으로서 데이터 스트림 수락 샘플 사이즈 하고, 샘플들의 스트림을 출력하는 있는 각 인구 나타낸다 . 구체적으로 , 는 에서 크기가 간단한 랜덤 표본입니다 (대체 없음).$x(t),$ $t=1, 2, \ldots,$$m$$s(t)$$X(t) = (x(1),x(2), \ldots, x(t))$$1\le i \le t$$s(i)$$m$$X(t)$

이를 위해서는 의 모든 요소 서브 세트가 에서 의 인덱스가 될 가능성이 동일해야 합니다. 이 가능성을 의미하는 에 와 동일 제공 .$m$$\{1,2,\ldots,t\}$$x$$s(t)$$x(i),$ $1\le i\lt t,$$s(t)$$m/t$$t \ge m$

처음에는 요소가 저장 될 때까지 스트림을 수집합니다 . 이 시점에서 가능한 샘플은 하나뿐이므로 확률 조건이 거의 충족됩니다.$m$

때 알고리즘이 대신 합니다. 유도 적으로 는 대한 의 단순한 랜덤 표본 이라고 가정합니다 . 임시적으로 . 하자 (구성하는 데 사용되는 이전의 독립 변수 균일 랜덤 변수 일 수 ). 경우 다음에 대체 임의로 선택된 요소 에 의해 . 그것은 전체 절차입니다!$t=m+1$$s(t)$$X(t)$$t\gt m$$s(t+1) = s(t)$$U(t+1)$$s(t)$$U(t+1) \le m/(t+1)$$s$$x(t+1)$

분명히 확률 갖는다 로되는 . 또한, 유도 가설에 의해, 는 때 있을 확률 를 가졌다 . 확률 = 으로 남아있을 확률은 에서 제거됩니다.$x(t+1)$$m/(t+1)$$s(t+1)$$x(i)$$m/t$$s(t)$$i\le t$$m/(t+1) \times 1/m$$1/(t+1)$$s(t+1)$

정확히 필요한만큼. 유도함으로써, 에서 의 모든 포함 확률 은 정확하며 이러한 포함 사이에 특별한 상관 관계가 없음이 분명합니다. 알고리즘이 올바른지 확인합니다.$x(i)$$s(t)$

알고리즘 효율은 입니다. 각 단계에서 최대 2 개의 임의의 숫자가 계산되고 값 배열의 최대 하나의 요소 가 대체되기 때문입니다. 저장 요구 사항은 입니다.$O(1)$$m$$O(m)$

이 알고리즘의 데이터 구조는 샘플링 하는 모집단 의 인덱스 와 함께 샘플 로 구성됩니다 . 처음에는 을 취하고 대한 알고리즘을 진행합니다 다음은 을 생성하기 위해 값으로 를 업데이트 하는 구현 입니다. (인수 의 역할을 담당 하고 있다 . 인덱스 호출자에 의해 유지된다.)$s$$t$$X(t)$$s = X(m)$$t=m+1, m+2, \ldots.$R$(s,t)$$x$$(s,t+1)$n$t$sample.size$m$$t$

update <- function(s, x, n, sample.size) {
  if (length(s) < sample.size) {
    s <- c(s, x)
  } else if (runif(1) <= sample.size / n) {
    i <- sample.int(length(s), 1)
    s[i] <- x
  }
  return (s)
}

이를 설명하고 테스트하기 위해 평범한 (비 강건한) 평균 추정값을 사용하고 에서 추정 한 평균을 의 실제 평균 각 단계에서 보이는 누적 데이터 집합 과 비교합니다. ). 나는 꽤 매끄럽게 변경되지만 주기적으로 극적인 점프를 겪는 다소 어려운 입력 스트림을 선택했습니다. 의 표본 크기 는 상당히 작으므로 이러한 도표에서 표본 변동을 볼 수 있습니다.$s(t)$$X(t)$$m=50$

n <- 10^3
x <- sapply(1:(7*n), function(t) cos(pi*t/n) + 2*floor((1+t)/n))
n.sample <- 50
s <- x[1:(n.sample-1)]
online <- sapply(n.sample:length(x), function(i) {
  s <<- update(s, x[i], i, n.sample)
  summary(s)})
actual <- sapply(n.sample:length(x), function(i) summary(x[1:i]))

이 시점 online에서이 러닝 샘플을 값 으로 유지하여 생성 된 평균 추정치 시퀀스가되는 반면 각 순간에 사용 가능한 모든 데이터 에서 생성 된 평균 추정치 시퀀스가 있습니다. 플롯은 데이터 (회색), (검정색) 및이 샘플링 절차의 두 가지 독립적 인 응용 프로그램 (색상)을 보여줍니다. 계약이 예상되는 샘플링 오류 내에 있습니다.$50$actualactual

plot(x, pch=".", col="Gray")
lines(1:dim(actual)[2], actual["Mean", ])
lines(1:dim(online)[2], online["Mean", ], col="Red")

평균의 강력한 추정량을 얻으려면 사이트를 검색하십시오. 국외자관련 용어. 고려할만한 가치 중 하나는 Winsorized 평균 및 M 추정기입니다.

재귀 관리도의 문제와 관련이 있다고 생각할 수도 있습니다. 이러한 관리도는 새로운 관측치가 관리되고 있는지 평가합니다. 그렇다면이 관측치는 평균 및 분산의 새로운 추정치에 포함됩니다 (제어 한계를 결정하는 데 필요함).

강력하고 재귀적인 일 변량 관리도에 대한 배경 지식은 여기에서 확인할 수 있습니다 . 품질 관리 및 관리 차트에 대한 고전적인 텍스트 중 하나는 여기 온라인 에서 볼 수 있습니다 .

직관적으로, 평균 및 분산 을 입력으로 사용하면 시간 에서 새로운 관측치 가 여러 접근 방식으로 특이 치 인지 확인할 수 있습니다 . 가 의 특정 표준 편차를 벗어난 경우 특이 값을 로 선언 하는 것이지만 (데이터 제공 데이터가 그렇지 않으면 문제가 발생할 수 있습니다. 특정 분포 가정을 따르지 않습니다. 이 길을 가고 싶다면, 새로운 점이 특이 치가 아닌지 판단하고 특별한 추격 률없이 평균 추정치에 포함시키고 싶다고 가정하십시오. 그렇다면 당신은 다음보다 더 잘 할 수 없습니다 :$\mu_{t-1}$$\sigma^2_{t-1}$$t$$x_t$$\mu_{t-1}$$\sigma^2_{t-1})$

$\mu_t = \frac{t-1}{t}\mu_{t-1}+\frac{1}{t}x_t$

마찬가지로 분산을 재귀 적으로 업데이트해야합니다.

$\sigma^2_t = \frac{t-1}{t}\sigma^2_{t-1}+\frac{1}{t-1}(x_t-\mu_t)^2$

그러나보다 일반적인 관리도를 사용해 볼 수 있습니다. 데이터 분포에 더 강하고 여전히 불안정성을 처리 할 수있는 다른 관리도 ( 프로세스 의 가 느리게 증가 하는 것처럼 )가 EWMA 또는 CUSUM을 권장합니다 (자세한 내용은 위의 링크 된 교재 참조). 차트 및 관리 한계). 이러한 방법은 일반적으로 단 하나의 새로운 관측치를 비 이상치 관측치에서 파생 된 정보와 비교할 필요가 있다는 장점이 있기 때문에 일반적으로 강력하지 않습니다. 이러한 방법의 관리 한계 계산에 사용 된 장기 프로세스 및 추정값을 원하는 경우 위에 제공된 업데이트 공식으로 세분화 할 수 있습니다 .$\mu$$\mu$$\sigma^2$

이전 관측치를 잊고 새로운 관측치에 더 많은 가중치를 부여하는 EWMA와 같은 차트와 관련하여 데이터가 고정적이라고 생각하는 경우 (생성 분포의 매개 변수가 변경되지 않음) 이전 관측치를 기하 급수적으로 잊을 필요가 없습니다. 그에 따라 잊는 요소를 설정할 수 있습니다. 그러나 그것이 정상적이지 않다고 생각한다면 잊어 버리는 요소에 대한 좋은 가치를 선택해야합니다 (다시 말하면 교과서를 참조하십시오).

또한 온라인으로 새 관측 값을 모니터링하고 추가하기 전에 특이 치의 영향을받지 않는 및 (훈련 데이터 세트를 기반으로 한 초기 매개 변수 값) 추정값을 얻어야 합니다. 훈련 데이터에 특이 치가 있다고 의심되는 경우 강력한 방법을 사용하여 일회성 비용을 지불하여 추정 할 수 있습니다.$\mu_0$$\sigma^2_0$

이 라인을 따라 접근하면 문제를 가장 빠르게 업데이트 할 수 있다고 생각합니다.