하자 과 같이 매우 짧은 샘플 이는 계산 될 수있다 쌍별 차이 의 차 정적 을 찾는 것 : $Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)}$$\{1,3,6,2,7,5\}$$k$

    7 6 5 3 2 1
1   6 5 4 2 1
2   5 4 3 1
3   4 3 2
5   2 1
6   1
7

h = [n / 2] + 1 = 4

k = h (h-1) / 2 = 8

따라서$Q_n=C_n. 2$

분명히 80,000 개의 레코드로 구성된 큰 샘플의 경우 매우 큰 메모리가 필요합니다.

어쨌든 2D 대신 1D 공간에서 을 계산할 수 있습니까?$Q_n$

완전히 이해할 수는 없지만 대답 ftp://ftp.win.ua.ac.be/pub/preprints/92/Timeff92.pdf에 대한 링크 입니다.

업데이트 : 문제의 요점은 시간 복잡성 을 달성 하기 위해서는 스토리지 순서로 필요하다는 것입니다 .$O(n\log(n))$$O(n)$

아니요, 은 모든 중에서 요소를 선택하는 시간 복잡성에 대한 이론적 하한 입니다 ((1) 참조 가능한 .$O(n\log(n))$K t H N ( N - 1 )$k^{th}$$\frac{n(n-1)}{2}$$|x_i - x_j|: 1 \leq i \lt j \leq n$

공간을 얻을 수 있지만 시간 에서 의 모든 조합을 순진하게 확인해야 합니다.$O(1)$$x_i-x_j$$O(n^2)$

좋은 소식은 패키지 의 함수 에 구현 된 스케일 의 추정기 (개선 된 버전 및 일부 타이밍 비교에 대해서는 (2) 및 (3) 참조)를 사용할 수 있다는 것 입니다. 일 변량 추정량은 스케일의 2 단계 (예 : 재가 중) 추정량입니다. 95 % 가우시안 효율, 50 % 고 장점 및 시간 및 공간의 복잡성 을가집니다 (또한 온라인으로 쉽게 만들 수있어 반복 사용으로 계산 비용의 절반을 절감 할 수 있음) 이 옵션을 구현하기 위해 코드 를 파헤쳐 야 할 것입니다.$\tau$τ O ( n ) O ( 1 )scaleTau2()Rrobustbase$\tau$$O(n)$$O(1)$R

1. 정렬 된 열 GN Frederickson 및 DB Johnson, 컴퓨터 및 시스템 과학 저널 24 권 2 호, 1982 년 4 월 2 일, 197-208 페이지의 X + Y 및 행렬에서 선택 및 순위의 복잡성.
2. Yohai, V. 및 Zamar, R. (1988). 효율적인 척도를 최소화하여 회귀에 대한 높은 분류 점 추정치. 미국 통계 협회의 전표 83 406–413.
3. Maronna, R. 및 Zamar, R. (2002). 고차원 데이터 세트에 대한 강력한 위치 및 분산 추정치. 기술 측정 44307–317

이것을 사용하려면 편집

1. 실행 R(무료이며 여기 에서 다운로드 할 수 있음 )
2. 다음을 입력하여 패키지를 설치하십시오.

install.packages("robustbase")

3. 다음을 입력하여 패키지를로드하십시오.

library("robustbase")

4. 데이터 파일을로드하고 함수를 실행하십시오.

mydatavector <- read.table("address to my file in text format", header=T)
scaleTau2(mydatavector)

(매우 짧은 답변) 댓글 텍스트가 말합니다

의견에 질문에 대답하지 마십시오.

Estimator Online을 적용$Q_n$ 하는 것처럼 보이는 온라인 알고리즘에 대한 논문이 있습니다 .

편집하다

(사용자 user603에 의해). 이 기사에서 링크 된 알고리즘 은 의 이동 창 버전 버전입니다 .$Q_n$

많은 샘플을 감안 폭의 시간 창으로 분할 , 우리는 적용 할 수 로를 각 시간 창 은 의 값을 합니다. 이 값을 나타냅니다.$\{x_i\}_{i=1}^N$$n<N$$\{x_i\}_{i=t-n+1}^t$$Q_n$$N-n+1$$Q_n$$\{Q_n^i\}_{i=1}^{N-n+1}$

알고리즘은 여기에 인용 얻을 수 가 AT 평균 이하보다 비용 최악의 를 계산하는데 필요한 처음부터. O ( n 로그 ( n ) ) Q i $Q_n^i|Q_n^{i-1}$ $O(n\log(n))$$Q_n^i$

그러나이 알고리즘을 사용 하여 전체 원본 샘플 의 을 계산할 수 없습니다 . 또한 크기가 만큼 클 수있는 버퍼를 유지해야합니다 (종종 훨씬 작음).$Q_n$ O ( n 2$\{x_i\}_{i=1}^N$$O(n^2)$

이것은 내 Qn 구현입니다 ...

나는 이것을 C로 프로그래밍했고 그 결과는 다음과 같습니다.

void bubbleSort(double *datos, int N)
{
 for (int j=0; j<N-1 ;j++)     
  for (int i=j+1; i<N; i++)    
   if (datos[i]<datos[j])      
   {
    double tmp=datos[i];
    datos[i]=datos[j];
    datos[j]=tmp;
   }
}

double  fFactorial(long N)    
{
 double factorial=1.0;

 for (long i=1; i<=N; ++i)
  factorial*=(double)i;

 return factorial;  
}

double fQ_n(double *datos, int N)  // Rousseeuw's and Croux (1993) Qn scale estimator
{
 bubbleSort(datos, N);

 int m=(int)((fFactorial((long)N))/(fFactorial(2)*fFactorial((long)N-2)));

 double D[m];
 //double Cn=2.2219;      //not used now :) constant value https://www.itl.nist.gov/div898/software/dataplot/refman2/auxillar/qn_scale.htm

 int k=(int)((fFactorial((long)N/2+1))/(fFactorial(2)*fFactorial((long)N/2+1-2)));

 int y=0;

 for (int i=0; i<N; i++)
  for (int j=N-1; j>=0; j--)
   if (i<j)
   {
    D[y]=abs(datos[i]-datos[j]);
    y++;
   }

 bubbleSort(D, m);

 return D[k-1];
}

int main(int argc, char **argv)    
{
 double datos[6]={1,2,3,5,6,7};
 int N=6;

 // Priting in terminal the final solution
 printf("\n==[Results] ========================================\n\n");

 printf(" Q_n=%0.3f\n",fQ_n(datos,N));

 return 0;
}