R에서 t- 검정 (페어링 및 비 페어링) 대신 사용할 순열 테스트 구현은 무엇입니까?

t- 검정을 사용하여 분석 한 실험 데이터가 있습니다. 종속 변수의 간격은 조정되며 데이터는 짝을 이루지 못했거나 (2 개의 그룹) 짝을 이루어 (즉, 개체 내)에 ​​있습니다. 예 : (주체 내) :

x1 <- c(99, 99.5, 65, 100, 99, 99.5, 99, 99.5, 99.5, 57, 100, 99.5, 
        99.5, 99, 99, 99.5, 89.5, 99.5, 100, 99.5)
y1 <- c(99, 99.5, 99.5, 0, 50, 100, 99.5, 99.5, 0, 99.5, 99.5, 90, 
        80, 0, 99, 0, 74.5, 0, 100, 49.5)

그러나 데이터가 정상적이지 않으므로 한 리뷰어가 t- 테스트 이외의 다른 것을 사용하도록 요청했습니다. 그러나 쉽게 알 수 있듯이 데이터는 정규 분포 일뿐만 아니라 조건간에 분포가 동일하지 않습니다.

따라서 일반적인 비모수 적 테스트 인 Mann-Whitney-U-Test (비 페어) 및 Wilcoxon 테스트 (페어)는 조건간에 동일한 분포가 필요하므로 사용할 수 없습니다. 따라서 일부 리샘플링 또는 순열 테스트가 최선이라고 결정했습니다.

이제 t-test와 같은 순열 기반의 R 구현 또는 데이터 처리 방법에 대한 다른 조언을 찾고 있습니다.

나는 나를 위해 이것을 할 수있는 R 패키지 (예 : 동전, 파마, exactRankTest 등)가 있다는 것을 알고 있지만 어느 것을 골라야할지 모르겠습니다. 따라서이 테스트를 사용한 경험이있는 사람이 킥 스타트를 줄 수 있다면 그것은 우버 쿨 일 것입니다.

업데이트 : 이 테스트의 결과를보고하는 방법의 예를 제공 할 수 있다면 이상적입니다.

검정 통계량은 항상 평균의 차이 (또는 이와 동등한 것)이므로 크게 중요하지 않습니다. Monte-Carlo 메소드의 구현에서 약간의 차이가있을 수 있습니다. 두 가지 독립 변수에 대한 단측 테스트로 데이터와 함께 세 가지 패키지를 사용해보십시오.

DV <- c(x1, y1)
IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
library(coin)                    # for oneway_test(), pvalue()
pvalue(oneway_test(DV ~ IV, alternative="greater", 
                   distribution=approximate(B=9999)))
[1] 0.00330033

library(perm)                    # for permTS()
permTS(DV ~ IV, alternative="greater", method="exact.mc", 
       control=permControl(nmc=10^4-1))$p.value
[1] 0.003

library(exactRankTests)          # for perm.test()
perm.test(DV ~ IV, paired=FALSE, alternative="greater", exact=TRUE)$p.value
[1] 0.003171822

모든 순열을 수동으로 계산하여 정확한 p- 값을 확인하기 위해 데이터를 처음 9 개의 값으로 제한하겠습니다.

x1 <- x1[1:9]
y1 <- y1[1:9]
DV <- c(x1, y1)
IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
pvalue(oneway_test(DV ~ IV, alternative="greater", distribution="exact"))
[1] 0.0945907

permTS(DV ~ IV, alternative="greater", exact=TRUE)$p.value
[1] 0.0945907

# perm.test() gives different result due to rounding of input values
perm.test(DV ~ IV, paired=FALSE, alternative="greater", exact=TRUE)$p.value
[1] 0.1029412

# manual exact permutation test
idx  <- seq(along=DV)                 # indices to permute
idxA <- combn(idx, length(x1))        # all possibilities for different groups

# function to calculate difference in group means given index vector for group A
getDiffM <- function(x) { mean(DV[x]) - mean(DV[!(idx %in% x)]) }
resDM    <- apply(idxA, 2, getDiffM)  # difference in means for all permutations
diffM    <- mean(x1) - mean(y1)       # empirical differencen in group means

# p-value: proportion of group means at least as extreme as observed one
(pVal <- sum(resDM >= diffM) / length(resDM))
[1] 0.0945907

coin그리고 exactRankTests모두 같은 저자에서, 그러나 coin더 일반적이고 광범위한 것 같다 - 또한 문서의 측면에서. exactRankTests더 이상 적극적으로 개발되지 않습니다. 따라서 S4 객체를 다루고 싶지 않다면 (와 coin같은 유익한 기능 때문에) 선택 support()합니다.

편집 : 두 개의 종속 변수의 경우 구문은

id <- factor(rep(1:length(x1), 2))    # factor for participant
pvalue(oneway_test(DV ~ IV | id, alternative="greater",
                   distribution=approximate(B=9999)))
[1] 0.00810081

몇 가지 의견은 순서대로 있습니다.

1) 히스토그램과 같은 그래프를 잃어버린 것을 캡처 할 수 있기 때문에 데이터의 여러 시각적 표시를 시도하고 나란히 축에 플로팅하는 것이 좋습니다. 이 경우 히스토그램이 데이터의 두드러진 특징을 전달하는 데 매우 효과적이라고 생각하지 않습니다. 예를 들어, 나란히 박스 플롯을 살펴보십시오.

boxplot(x1, y1, names = c("x1", "y1"))

또는 나란히 놓인 스트립 차트 :

stripchart(c(x1,y1) ~ rep(1:2, each = 20), method = "jitter", group.names = c("x1","y1"), xlab = "")

$x1$$y1$$x1$$y1$$x1$$y1$$y1$

2) 데이터의 출처 나 측정 방법에 대해 자세히 설명하지 않았지만이 정보는 통계 절차를 선택할 때 매우 중요합니다. 위의 두 표본이 독립적입니까? 두 표본의 한계 분포가 동일해야한다고 믿을만한 이유가 있습니까 (예 : 위치 차이를 제외하고)? 연구 이전 에 두 그룹 간의 차이점에 대한 증거를 찾게 된 고려 사항은 무엇입니까 ?

$z$$p$$p$

$p$

5) 내 의견으로는,이 데이터는 잘 선택된 그림이 1000 가설 검정의 가치가 있다는 완벽한 (?) 예입니다. 연필과 헛간의 차이점을 알려주는 통계는 필요하지 않습니다. 이러한 데이터에 대한 필자의 견해로는 "이러한 데이터는 위치, 규모 및 모양과 관련하여 현저한 차이를 나타냅니다."입니다. 차이를 정량화하기 위해 각각에 대해 (견고한) 설명 통계를 추적하고 원래 연구의 맥락에서 차이점이 무엇을 의미하는지 설명 할 수 있습니다.

$p$$p$

이 대답은 원래 의도했던 것보다 훨씬 길다. 미안합니다.

저의 의견은 순열 테스트의 구현에 관한 것이 아니라 이러한 데이터에 의해 제기 된보다 일반적인 문제와 이에 대한 논의, 특히 G. Jay Kerns의 게시물에 관한 것입니다.

두 분포는 실제로 Y1의 0 그룹에 대한 EXCEPT와 매우 유사하게 보이며, X1의 모든 표본뿐만 아니라 해당 표본의 다른 관측치 (다음으로 0-100 스케일에서 약 50)와는 상당히 다릅니다. 먼저 이러한 관찰에 다른 점이 있는지 조사했습니다.

둘째,이 0이 분석에 속한다고 가정하면 분포가 다른 것으로 나타나기 때문에 순열 테스트가 유효하지 않다고 말합니다. 널이 참 (분포가 동일 함) 인 경우, 합리적인 확률로이 두 가지와 다른 분포를 얻을 수 있습니까? 그것이 시험의 요점이라고 대답하지 않습니까? 어쩌면이 경우 테스트를 실행하지 않고 대답을 분명하게 고려할 수 있지만 작고 독특한 분포를 사용하면 그렇게 생각하지 않습니다.

이 질문이 다시 나타나면서 패키지를 사용하는 Quick-R 및 R in Action 의 저자 인 Robert Kabacoff의 R-Bloggers를 통해 최근 블로그 게시물에서 영감을 얻은 또 다른 답변을 추가 할 수 있습니다 .lmPerm

그러나이 방법은 coin@caracakl의 응답으로 패키지에서 생성 된 결과와 크게 대조되는 (매우 불안정한) 결과를 생성 합니다 (내부 대상 분석의 p- 값은 0.008). 분석은 @caracal의 답변에서 데이터 준비를 수행합니다.

x1 <- c(99, 99.5, 65, 100, 99, 99.5, 99, 99.5, 99.5, 57, 100, 99.5, 
        99.5, 99, 99, 99.5, 89.5, 99.5, 100, 99.5)
y1 <- c(99, 99.5, 99.5, 0, 50, 100, 99.5, 99.5, 0, 99.5, 99.5, 90, 
        80, 0, 99, 0, 74.5, 0, 100, 49.5)

DV <- c(x1, y1)
IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
id <- factor(rep(1:length(x1), 2)) 

library(lmPerm)

summary(aovp( DV ~ IV + Error(id)))

생산 :

> summary(aovp( DV ~ IV + Error(id)))
[1] "Settings:  unique SS "

Error: id
Component 1 :
          Df R Sum Sq R Mean Sq
Residuals 19    15946       839


Error: Within
Component 1 :
          Df R Sum Sq R Mean Sq Iter Pr(Prob)  
IV         1     7924      7924 1004    0.091 .
Residuals 19    21124      1112                
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

이 작업을 여러 번 실행하면 p- 값이 ~ .05와 ~ .1 사이를 이동합니다.

:이 질문에 대한 답변이지만 내가 (원하는 경우 나는 새로운 질문이 이동할 수) 마지막에 질문을 제기 할 수 있도록
이 분석은 매우 불안정하고 않는 이유의 어떤 아이디어가 소위 분기 P-값을 생성 동전 분석? 내가 뭐 잘못 했어요?

이 점수 비율입니까? 그렇다면 가우시안 파라 메트릭 테스트를 사용해서는 안되며, 순열 테스트 또는 평균 부트 스트랩과 같은 비 파라 메트릭 접근 방식으로 진행할 수 있지만 더 많은 통계적 힘을 얻을 것을 제안합니다. 적합한 비 가우시안 파라 메트릭 접근법을 사용합니다. 특히 관심 대상 단위 (예 : 실험 참가자) 내에서 비율 측정을 계산할 수있는 경우에는 이항 분포 오차로 관측치를 지정하는 혼합 효과 모델을 사용해야합니다. Dixon 2004 참조 .

다만, 다른 접근 방식을 추가 ezPerm로 ez패키지 :

> # preparing the data
> DV <- c(x1, y1)
> IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
> id <- factor(rep(1:length(x1), 2))
> df <- data.frame(id=id,DV=DV,IV=IV)
>
> library(ez)
> ezPerm( data = df, dv = DV, wid = id, within = IV, perms = 1000)
|=========================|100%              Completed after 17 s 
  Effect     p p<.05
1     IV 0.016     *

이것은 패키지 oneway_test와 일치하는 것으로 보입니다 coin.

> library(coin)
> pvalue(oneway_test(DV ~ IV | id,  distribution=approximate(B=999999)))
[1] 0.01608002
99 percent confidence interval:
 0.01575782 0.01640682

그러나 이것은 @caracal에서 제공하는 것과 동일한 예제가 아닙니다 . 그의 예에서 그는 alternative="greater"p- 값 ~0.008과 의 차이를 포함 합니다 ~0.016.

aovp패키지는 대답 중 하나가 의심 낮은 P-값을 생성에서 제안하고, 의심 빠른 내가 높은 값 시도 할 경우에도 실행 Iter, Ca및 maxIter인수를 :

library(lmPerm)
summary(aovp(DV ~ IV + Error(id/IV), data=df,  maxIter = 1000000000))
summary(aovp(DV ~ IV + Error(id/IV), data=df,  Iter = 1000000000))
summary(aovp(DV ~ IV + Error(id/IV), data=df,  Ca = 0.00000000001))

즉, 인수가 약간에서 P-값의 변화를 감소 할 것으로 보인다 말했다 ~.03와 ~.1(나는 @Henrik에 의해보고 더 큰 범위 탄트를 가지고)에 0.03와 0.07.