RMSE를 기반으로 정확도 측정을 계산하는 방법은 무엇입니까? 대규모 데이터 세트가 정상적으로 배포됩니까?

수천 점의 데이터 세트가 여러 개 있습니다. 각 데이터 세트의 값은 공간의 좌표를 나타내는 X, Y, Z입니다. Z- 값은 좌표 쌍 (x, y)에서의 고도 차이를 나타냅니다.

일반적으로 GIS 분야에서 고도 오차는지면 진리 점을 측정점 (LiDAR 데이터 점)으로 빼서 RMSE에서 참조됩니다. 일반적으로 최소 20 개의 지상 점검 포인트가 사용됩니다. NDEP (National Digital Elevation Guidelines) 및 FEMA 지침에 따라이 RMSE 값을 사용하여 정확도 측정 값을 계산할 수 있습니다. 정확도 = 1.96 * RMSE.

"정확한 수직 정확도는 수직 정확도를 데이터 집합간에 동등하게 평가하고 비교할 수있는 값입니다. 기본 정확도는 수직 RMSE의 함수로 95 % 신뢰 수준에서 계산됩니다."

정규 분포 곡선 아래 면적의 95 %가 1.96 * std. 편차 내에 있지만 RMSE와 관련이 없음을 이해합니다.

일반적으로 나는이 질문을하고있다 : 2 데이터 세트에서 계산 된 RMSE를 사용하여 RMSE를 어떤 종류의 정확도와 어떻게 연관시킬 수 있습니까 (즉, 내 데이터 포인트의 95 %가 +/- X cm 내에 있음)? 또한 이러한 대규모 데이터 세트에 적합한 테스트를 사용하여 데이터 세트가 정상적으로 배포되는지 여부를 어떻게 확인할 수 있습니까? 정규 분포에 대해 "충분히 좋은"것은 무엇입니까? 모든 검정에 대해 p <0.05이어야합니까, 아니면 정규 분포 모양과 일치해야합니까?

다음 논문에서이 주제에 대한 아주 좋은 정보를 찾았습니다.

http://paulzandbergen.com/PUBLICATIONS_files/Zandbergen_TGIS_2008.pdf

normal-distribution large-data

— 매튜 빌 스키
소스

조심해! ks.test 사용이 올바르지 않습니다. 도움말 페이지 에 따르면 'dnorm'대신 'pnorm'을 사용해야합니다. 또한 비교 분포의 매개 변수를 샘플 자체의 평균 및 SD로 설정하면 p- 값이 크게 증가합니다. "단일 샘플 테스트를 사용하는 경우 ...에 지정된 매개 변수는 미리 지정해야하며 자료."

— whuber

실제로이 공식은 신뢰 구간을 제공하지 않습니다. 공차 구간 을 추정하는 것은 조잡하지만 표준적인 방법 입니다. 이는 전체 모집단 차이의 중간 95 %입니다. 차이가 정규 분포를 가지지 않는다고 가정 할만한 이유가 있습니다 . 절대 차이가 클수록 지형 경사가 커지는 경향이 있습니다. 4000 포인트가 이러한 차이의 임의 샘플이라고 가정하면 2.5 및 97.5 백분위 수만보고하면 어떻습니까?

— whuber

데이터는 측정 가능한 고도 의 통계 샘플 을 형성합니다 . "정확도"에 대해 이야기 할 때 DEM이 전체 고도 개체군 을 얼마나 밀접하게 나타내는 지에 대한 주장을하고 있습니다. 귀하의 경우 데이터 집합을 비교하여 정확도를 평가하는 것은 불가능합니다. 데이터를 "현실적으로"해야합니다. 따라서 가이드 라인은 실제로 두 데이터 세트의 상대적 동의 에 대해 이야기하고 있습니다. 마지막으로, 앞서 설명한 것처럼 "신뢰 수준"을 잘못 사용했습니다. 나는 당신이 이와 같은 끔찍한지도의 틀 안에서 일해야한다는 것을 받아들이지 만, 당신은 무엇이 옳은지를 알아야합니다.

— whuber

유용한 질문처럼 들리기 시작합니다. 아직 답변을받지 못 했으므로이 의견에 공개 한 정보를 통합하기 위해 현재 질문을 완전히 편집하지 않겠습니까? 지침을 인용 한 후 (현장에서 일반적으로 사용되는 방법의 종류를 보여주기 위해) 지침을 인용 한 후 정확도를 평가하기 위해 고도 의 차수의 차수 분포를 사용하는 방법을 상당히 일반적으로 물을 수 있습니다 (하나를 가정). 데이터 세트 중 참조는 참조입니다).

— whuber

모두 : 의견의 변경 사항을 반영하여 주요 게시물과 질문을 업데이트했습니다.

— Matthew Bilskie

2- 데이터 세트에서 계산 된 RMSE를 사용하여 RMSE를 어떤 종류의 정확도와 연관시킬 수 있습니까 (즉, 데이터 포인트의 95 %가 +/- X cm 내에 있음)?

거의 중복되는 질문 : RMSE의 신뢰 구간 ?

대규모 데이터 세트가 정상적으로 배포됩니까?

좋은 경험은 z가치 의 경험적 분포를 관찰하는 것 입니다. 다음은 재현 가능한 예입니다.

set.seed(1)
z <- rnorm(2000,2,3)
z.difference <- data.frame(z=z)

library(ggplot2)

ggplot(z.difference,aes(x=z)) + 
  geom_histogram(binwidth=1,aes(y=..density..), fill="white", color="black") +
  ylab("Density") + xlab("Elevation differences (meters)") +
  theme_bw() + 
  coord_flip()

언뜻보기에 정상적인 것처럼 보입니다. (실제로 우리는 rnorm우리가 사용한 명령 때문에 그것이 정상임을 알고 있습니다 ).

데이터 세트에 대해 작은 샘플을 분석하려면 Shapiro-Wilk Normality Test가 있습니다.

z_sample <- sample(z.difference$z,40,replace=T)
shapiro.test(z_sample) #high p-value indicates the data is normal (null hypothesis)

    Shapiro-Wilk normality test

data:  z_sample
W = 0.98618, p-value = 0.8984 #normal

또한 다른 작은 샘플에 대해 SW 테스트를 여러 번 반복 한 다음 분포를 살펴볼 수 p-values있습니다.

대용량 데이터 세트에 대한 정규성 테스트는 Greg Snow가 제공 한이 답변 에서 설명하는 것처럼 유용하지 않습니다 .

반면에 매우 큰 데이터 세트를 사용하면 중앙 한계 정리가 적용되고 일반적인 분석 (회귀, t- 검정 등)의 경우 모집단이 정상적으로 분포되어 있는지 여부는 실제로 신경 쓰지 않습니다.

경험상 가장 좋은 규칙은 qq-plot을하고 묻는 것입니다. 이것이 정상입니까?

QQ 플롯을 만들어 봅시다 :

#qq-plot (quantiles from empirical distribution - quantiles from theoretical distribution)
mean_z <- mean(z.difference$z)
sd_z <- sd(z.difference$z)
set.seed(77)
normal <- rnorm(length(z.difference$z), mean = mean_z, sd = sd_z)

qqplot(normal, z.difference$z, xlab="Theoretical", ylab="Empirical")

점이 y=x선 으로 정렬 되면 경험적 분포가 이론적 분포 (이 경우 정규 분포)와 일치 함을 의미합니다.

— 안드레 실바
소스