lme4 glmer 및 glmer.nb를 사용하여 카운트 데이터 GLMM 해석에 도움-음 이항 대 포아송


9

GLMM의 사양 및 해석에 관한 몇 가지 질문이 있습니다. 3 가지 질문은 확실히 통계적이며 2 개는 R에 대해 더 구체적입니다. 궁극적으로 문제가 GLMM 결과의 해석이라고 생각하기 때문에 여기에 게시하고 있습니다.

현재 GLMM에 맞추려고합니다. Longitudinal Tract Database 의 미국 인구 조사 데이터를 사용하고 있습니다. 제 관찰은 인구 조사입니다. 저의 종속 변수는 빈 주택 단위의 수이며 빈자리와 사회 경제적 변수 사이의 관계에 관심이 있습니다. 여기 예제는 두 가지 고정 된 효과, 즉 비백 인 인구 비율 (인종)과 중간 가구 소득 (클래스)과 그들의 상호 작용을 사용하는 것입니다. 나는 두 개의 중첩 된 랜덤 효과를 포함하고 싶습니다 : 수십 년과 수십 년 내의 트랙, 즉 (10 년 / 트랙). 공간 (즉, 트랙 간) 및 시간적 (즉, 수십 년) 자기 상관을 제어하려는 노력으로 이러한 무작위를 고려하고 있습니다. 그러나 나는 고정 효과로 10 년에 관심이 있으므로 고정 요소로도 포함시킵니다.

내 독립 변수는 음이 아닌 정수 카운트 변수이므로 포아송과 음 이항 GLMM에 맞추려고 노력했습니다. 총 주택 단위 로그를 오프셋으로 사용하고 있습니다. 이는 계수가 빈 집의 총 수가 아니라 공실률에 미치는 영향으로 해석됨을 의미합니다.

나는 현재 lis4에서 glmer 와 glmer.nb를 사용하여 추정 된 Poisson과 음의 이항 GLMM에 대한 결과를 가지고 있습니다 . 계수와 해석은 데이터와 연구 분야에 대한 나의 지식을 바탕으로 이해됩니다.

데이터스크립트 를 원한다면 내 Github에 있습니다. 이 스크립트에는 모델을 작성하기 전에 수행 한 추가 설명이 포함되어 있습니다.

내 결과는 다음과 같습니다.

포아송 모델

Generalized linear mixed model fit by maximum likelihood (Laplace Approximation) ['glmerMod']
 Family: poisson  ( log )
Formula: R_VAC ~ decade + P_NONWHT + a_hinc + P_NONWHT * a_hinc + offset(HU_ln) +      (1 | decade/TRTID10)
   Data: scaled.mydata

     AIC      BIC   logLik deviance df.resid 
 34520.1  34580.6 -17250.1  34500.1     3132 

Scaled residuals: 
     Min       1Q   Median       3Q      Max 
-2.24211 -0.10799 -0.00722  0.06898  0.68129 

Random effects:
 Groups         Name        Variance Std.Dev.
 TRTID10:decade (Intercept) 0.4635   0.6808  
 decade         (Intercept) 0.0000   0.0000  
Number of obs: 3142, groups:  TRTID10:decade, 3142; decade, 5

Fixed effects:
                 Estimate Std. Error z value Pr(>|z|)    
(Intercept)     -3.612242   0.028904 -124.98  < 2e-16 ***
decade1980       0.302868   0.040351    7.51  6.1e-14 ***
decade1990       1.088176   0.039931   27.25  < 2e-16 ***
decade2000       1.036382   0.039846   26.01  < 2e-16 ***
decade2010       1.345184   0.039485   34.07  < 2e-16 ***
P_NONWHT         0.175207   0.012982   13.50  < 2e-16 ***
a_hinc          -0.235266   0.013291  -17.70  < 2e-16 ***
P_NONWHT:a_hinc  0.093417   0.009876    9.46  < 2e-16 ***
---
Signif. codes:  0***0.001**0.01*0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
            (Intr) dc1980 dc1990 dc2000 dc2010 P_NONWHT a_hinc
decade1980  -0.693                                            
decade1990  -0.727  0.501                                     
decade2000  -0.728  0.502  0.530                              
decade2010  -0.714  0.511  0.517  0.518                       
P_NONWHT     0.016  0.007 -0.016 -0.015  0.006                
a_hinc      -0.023 -0.011  0.023  0.022 -0.009  0.221         
P_NONWHT:_h  0.155  0.035 -0.134 -0.129  0.003  0.155   -0.233
convergence code: 0
Model failed to converge with max|grad| = 0.00181132 (tol = 0.001, component 1)

음 이항 모델

Generalized linear mixed model fit by maximum likelihood (Laplace Approximation) ['glmerMod']
 Family: Negative Binomial(25181.5)  ( log )
Formula: R_VAC ~ decade + P_NONWHT + a_hinc + P_NONWHT * a_hinc + offset(HU_ln) +      (1 | decade/TRTID10)
   Data: scaled.mydata

     AIC      BIC   logLik deviance df.resid 
 34522.1  34588.7 -17250.1  34500.1     3131 

Scaled residuals: 
     Min       1Q   Median       3Q      Max 
-2.24213 -0.10816 -0.00724  0.06928  0.68145 

Random effects:
 Groups         Name        Variance  Std.Dev. 
 TRTID10:decade (Intercept) 4.635e-01 6.808e-01
 decade         (Intercept) 1.532e-11 3.914e-06
Number of obs: 3142, groups:  TRTID10:decade, 3142; decade, 5

Fixed effects:
                 Estimate Std. Error z value Pr(>|z|)    
(Intercept)     -3.612279   0.028946 -124.79  < 2e-16 ***
decade1980       0.302897   0.040392    7.50 6.43e-14 ***
decade1990       1.088211   0.039963   27.23  < 2e-16 ***
decade2000       1.036437   0.039884   25.99  < 2e-16 ***
decade2010       1.345227   0.039518   34.04  < 2e-16 ***
P_NONWHT         0.175216   0.012985   13.49  < 2e-16 ***
a_hinc          -0.235274   0.013298  -17.69  < 2e-16 ***
P_NONWHT:a_hinc  0.093417   0.009879    9.46  < 2e-16 ***
---
Signif. codes:  0***0.001**0.01*0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
            (Intr) dc1980 dc1990 dc2000 dc2010 P_NONWHT a_hinc
decade1980  -0.693                                            
decade1990  -0.728  0.501                                     
decade2000  -0.728  0.502  0.530                              
decade2010  -0.715  0.512  0.517  0.518                       
P_NONWHT     0.016  0.007 -0.016 -0.015  0.006                
a_hinc      -0.023 -0.011  0.023  0.022 -0.009  0.221         
P_NONWHT:_h  0.154  0.035 -0.134 -0.129  0.003  0.155   -0.233

푸 아송 DHARMa 테스트

    One-sample Kolmogorov-Smirnov test

data:  simulationOutput$scaledResiduals
D = 0.044451, p-value = 8.104e-06
alternative hypothesis: two-sided

    DHARMa zero-inflation test via comparison to expected zeros with simulation under H0 = fitted model

data:  simulationOutput
ratioObsExp = 1.3666, p-value = 0.159
alternative hypothesis: more

음 이항 DHARMa 검정

    One-sample Kolmogorov-Smirnov test

data:  simulationOutput$scaledResiduals
D = 0.04263, p-value = 2.195e-05
alternative hypothesis: two-sided

    DHARMa zero-inflation test via comparison to expected zeros with simulation under H0 = fitted model

data:  simulationOutput2
ratioObsExp = 1.376, p-value = 0.174
alternative hypothesis: more

DHARMa 플롯

푸 아송

푸 아송 모델 DHARMa 플롯

음 이항

음 이항 모델 DHARMa plot

통계 질문

여전히 GLMM을 파악하고 있기 때문에 사양과 해석에 대해 불안합니다. 질문이 몇 개 있습니다:

  1. 내 데이터가 포아송 모델 사용을 지원하지 않는 것으로 보이므로 음수 이항 법을 사용하는 것이 좋습니다. 그러나 최대 한계를 늘려도 음의 이항 모델이 반복 한계에 도달한다는 경고가 지속적으로 나타납니다. "theta.ml (Y, mu, weights = object @ resp $ weights, limit = limit, : iteration limit limit에 도달했습니다.")는 몇 가지 다른 사양을 사용하여 발생합니다 (예 : 고정 및 랜덤 효과에 대한 최소 및 최대 모델). 또한 값의 상위 1 %가 매우 특이 치 (0-1012에서 99 % 범위, 1013-5213에서 상위 1 %)이므로 부양 가족에서 특이 치를 제거하려고 시도했습니다. 반복에는 영향을 미치지 않으며 계수에는 거의 영향을 미치지 않습니다. 포아송과 음 이항 사이의 계수도 매우 유사합니다. 이러한 수렴 부족이 문제입니까? 음 이항 모델이 적합합니까? 또한 다음을 사용하여 음 이항 모델을 실행했습니다.AllFit 및 모든 옵티마이 저가이 경고를 발생 시키지는 않습니다 (bobyqa, Nelder Mead 및 nlminbw는 그렇지 않음).

  2. 10 년간 고정 효과에 대한 분산이 지속적으로 매우 낮거나 0입니다. 이것이 모형이 과적 합을 의미 할 수 있음을 이해합니다. 고정 효과에서 10을 빼면 10의 임의 효과 분산이 0.2620으로 증가하고 고정 효과 계수에 큰 영향을 미치지 않습니다. 그대로 두는 데 문제가 있습니까? 관찰 편차 사이를 설명하는 데 필요하지 않은 것으로 해석하는 것이 좋습니다.

  3. 이 결과는 제로 팽창 모델을 시도해야 함을 나타 냅니까? DHARMa는 무 인플레이션이 문제가되지 않을 수 있다고 제안하는 것 같습니다. 어쨌든 시도해야한다고 생각되면 아래를 참조하십시오.

R 질문

  1. 나는 0 팽창 모델을 시도 할 의향이 있지만, 어떤 패키지가 0 팽창 Poisson 및 음 이항 GLMM에 대해 중첩 무작위 효과를 내포하는지 확실하지 않습니다. glmmADMB를 사용하여 AIC를 0으로 팽창 한 모델과 비교할 수 있지만 단일 임의 효과로 제한되므로이 모델에서는 작동하지 않습니다. MCMCglmm을 사용해 볼 수는 있지만 베이지안 통계를 알지 못하므로 매력적이지 않습니다. 다른 옵션이 있습니까?

  2. 요약 (모델) 내에 지수 계수를 표시 할 수 있습니까? 아니면 여기서 한 것처럼 요약 외부에서 계산해야합니까?


1
(2) 쉽다 : decade고정 된 것과 랜덤 한 것이 모두 의미가 없다. 고정되어 있고 (1 | decade:TRTID10)무작위 로만 포함 시키거나 (수십 년 동안 같은 수준이 없다고 (1 | TRTID10)가정하는 TRTID10것과 동일) 고정 효과에서 제거하십시오. 4 개의 레벨 만 있으면이를 고치는 것이 더 나을 수 있습니다. 일반적인 권장 사항은 5 개 이상의 레벨이있는 ​​경우 임의의 효과에 맞추는 것입니다.
amoeba

1
그 외에도 두 음모가 동일하게 보입니다.
amoeba

1
수렴 경고와 관련하여-(1)에서 bobyqa옵티 마이저 를 시도했지만 아무런 경고도 생성하지 않는다고 말했습니다. 그럼 뭐가 문제 야? 그냥 사용하십시오 bobyqa.
amoeba

1
그런데 "데이터가 포아송 모델 사용을 지원하지 않는 것 같습니다"라고 말하는 이유를 이해하지 못합니다.
amoeba

1
내 경험상 bobyqa기본 옵티 마이저보다 수렴이 우수합니다 (그리고 향후 버전에서 기본값이 될 것이라고 생각합니다 lme4). 기본 옵티 마이저와 수렴하면 비 수렴에 대해 걱정할 필요가 없다고 생각합니다 bobyqa.
amoeba

답변:


10

귀하의 추정으로 해결해야 할 중요한 문제가 있다고 생각합니다.

귀하의 데이터를 검토하여 수집 한 것으로부터 귀하의 단위는 지리적으로 그룹화되지 않았습니다 (예 : 카운티 내의 인구 조사). 따라서, 공간을 이질성으로 포착하기 위해 트랙을 그룹화 요소로 사용하는 것은 적절하지 않습니다. 이는 그룹과 동일한 수의 개인을 갖거나 (또는 ​​다른 방법으로, 모든 그룹이 각각 하나의 관측치를 가짐) 의미합니다. 다단계 모델링 전략을 사용하면 그룹 간 차이를 제어하면서 개별 수준 차이를 추정 할 수 있습니다. 그룹마다 개별 개체가 하나뿐이므로 그룹 간 차이는 개인 수준 차이와 동일하므로 다단계 접근 방식의 목적을 상실합니다.

반면 그룹화 계수는 시간이 지남에 따라 반복 측정을 나타낼 수 있습니다. 예를 들어, 종단 연구의 경우 개인의 "수학"점수는 매년 점수를 매길 수 있으므로 n 년 동안 각 학생의 연간 가치가 있습니다 (이 경우 그룹화 요인은 n 인 학생입니다 학생 내에서 "중첩 된"관측치 수). 귀하의 경우에 의해 각 센서스 지역의 측정을 반복했습니다 decade. 따라서 TRTID10변수를 그룹화 요소로 사용하여 "10 년 분산"을 포착 할 수 있습니다 . 이로 인해 635 개 소에 3142 개의 관측치가 있고 인구 조사당 약 4 개 및 5 개의 관측치가 있습니다.

의견에서 언급했듯이 decade그룹화 요인으로 사용 하는 것은 각 인구 조사당 약 50 년 밖에 걸리지 않으므로 decade공변량으로 도입하여 그 효과를 더 잘 포착 할 수 있으므로 적절하지 않습니다 .

둘째, 데이터가 포아송 또는 음 이항 모델 (또는 제로 팽창 접근법)을 사용하여 모델링되어야하는지 여부를 결정합니다. 데이터의 과대 산량을 고려하십시오. 푸 아송 분포의 기본 특성은 등분 산입니다. 즉, 평균이 분포의 분산과 같습니다. 데이터를 살펴보면 과대 산포가 많은 것이 분명합니다. 분산은 평균보다 훨씬 큽니다.

library(dplyr)    
 dispersionstats <- scaled.mydata %>%
 + group_by(decade) %>%
 + summarise(
 + means = mean(R_VAC),
 + variances = var(R_VAC),
 + ratio = variances/means)

##   dispersionstats
##   # A tibble: 5 x 5
##   decade     means variances     ratio 
##    <int>     <dbl>     <dbl>     <dbl> 
## 1   1970  45.43513   4110.89  90.47822 
## 2   1980 103.52365  17323.34 167.33707 
## 3   1990 177.68038  62129.65 349.67087 
## 4   2000 190.23150  91059.60 478.67784 
## 5   2010 247.68246 126265.60 509.78821 

그럼에도 불구하고 음 이항이 통계적으로 더 적합한 지 여부를 확인하기 위해 표준 방법은 푸 아송과 음 이항 모형간에 우도 비 검정을 수행하는 것입니다.

library(MASS)
library(lmtest)

modelformula <- formula(R_VAC ~ factor(decade) + P_NONWHT * a_hinc + offset(HU_ln))

poismodel <- glm(modelformula, data = scaled.mydata, family = "poisson")   
nbmodel <- glm.nb(modelformula, data = scaled.mydata)

lrtest(poismodel, nbmodel)

## Likelihood ratio test

##  Model 1: R_VAC ~ factor(decade) + P_NONWHT * a_hinc + offset(HU_ln)  
## Model 2: R_VAC ~ factor(decade) + P_NONWHT * a_hinc + offset(HU_ln)
##   #Df  LogLik Df  Chisq Pr(>Chisq)
## 1   8 -154269
## 2   9  -17452  1 273634  < 2.2e-16 ***
##  ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

이를 설정 한 후 다음 테스트에서는 유사한 접근 방식을 사용하여 다중 레벨 (혼합 모델) 접근 방식이 필요한지 여부를 고려할 수 있습니다. 이는 다중 레벨 버전이 더 적합하다는 것을 나타냅니다. 모델이 동일하다면 포아송 분포를 glmer.nb 객체에 적용한다고 가정하면 유사한 테스트를 사용하여 글 리머 피팅을 비교할 수 있습니다.

library(lme4)

glmmformula <- update(modelformula, . ~ . + (1|TRTID10))

nbglmm <- glmer.nb(glmmformula, data = scaled.mydata)

lrtest(nbmodel, nbglmm)

## Model 1: R_VAC ~ factor(decade) + P_NONWHT * a_hinc + offset(HU_ln)
## Model 2: R_VAC ~ factor(decade) + P_NONWHT + a_hinc + (1 | TRTID10) +
##     P_NONWHT:a_hinc + offset(HU_ln)
##   #Df LogLik Df Chisq Pr(>Chisq)
## 1   9 -17452
## 2  10 -17332  1 239.3  < 2.2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

포아송 모델과 nb ​​모델의 추정치와 관련하여, 이들은 실제로 서로 매우 유사 할 것으로 예상되는데, 주요 차이점은 표준 오차, 즉 과분 산이 존재하는 경우, 포아송 모델은 치우친 표준 오차를 제공하는 경향이 있습니다. 데이터를 예로 들어 보자 :

poissonglmm <- glmer(glmmformula, data = scaled.mydata)
summary(poissonglmm)

## Random effects:
##  Groups  Name        Variance Std.Dev.
## TRTID10 (Intercept) 0.2001   0.4473
## Number of obs: 3142, groups:  TRTID10, 635

## Fixed effects:
##                     Estimate Std. Error z value Pr(>|z|)
## (Intercept)        -2.876013   0.020602 -139.60   <2e-16 ***
## factor(decade)1980  0.092597   0.007602   12.18   <2e-16 ***
## factor(decade)1990  0.903543   0.007045  128.26   <2e-16 ***
## factor(decade)2000  0.854821   0.006913  123.65   <2e-16 ***
## factor(decade)2010  0.986126   0.006723  146.67   <2e-16 ***
## P_NONWHT           -0.125500   0.014007   -8.96   <2e-16 ***
## a_hinc             -0.107335   0.001480  -72.52   <2e-16 ***
## P_NONWHT:a_hinc     0.160937   0.003117   51.64   <2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

summary(nbglmm)
## Random effects:
##  Groups  Name        Variance Std.Dev.
##  TRTID10 (Intercept) 0.09073  0.3012
## Number of obs: 3142, groups:  TRTID10, 635

## Fixed effects:
##                     Estimate Std. Error z value Pr(>|z|)
## (Intercept)        -2.797861   0.056214  -49.77  < 2e-16 ***
## factor(decade)1980  0.118588   0.039589    3.00  0.00274 **
## factor(decade)1990  0.903440   0.038255   23.62  < 2e-16 ***
## factor(decade)2000  0.843949   0.038172   22.11  < 2e-16 ***
## factor(decade)2010  1.068025   0.037376   28.58  < 2e-16 ***
## P_NONWHT            0.020012   0.089224    0.22  0.82253
## a_hinc             -0.129094   0.008109  -15.92  < 2e-16 ***
## P_NONWHT:a_hinc     0.149223   0.018967    7.87 3.61e-15 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

계수 추정치가 모두 매우 유사한 방법에 주목하십시오. 주요 차이점은 공변량 중 하나의 중요성과 랜덤 효과 분산의 차이입니다. 이는 nb의과 분산 모수에 의해 포착 된 단위 수준 분산을 나타냅니다. 모델 ( thetaglmer.nb 객체 의 값)은 랜덤 효과에 의해 포착 된 트랙 간 분산의 일부를 캡처합니다.

지수화 된 계수 (및 관련 신뢰 구간)와 관련하여 다음을 사용할 수 있습니다.

fixed <- fixef(nbglmm)
confnitfixed <- confint(nbglmm, parm = "beta_", method = "Wald") # Beware: The Wald method is less accurate but much, much faster.

# The exponentiated coefficients are also known as Incidence Rate Ratios (IRR)
IRR <- exp(cbind(fixed, confintfixed)
IRR
##                         fixed      2.5 %     97.5 %
## (Intercept)        0.06094028 0.05458271 0.06803835
## factor(decade)1980 1.12590641 1.04184825 1.21674652
## factor(decade)1990 2.46807856 2.28979339 2.66024515
## factor(decade)2000 2.32553168 2.15789585 2.50619029
## factor(decade)2010 2.90962703 2.70410073 3.13077444
## P_NONWHT           1.02021383 0.85653208 1.21517487
## a_hinc             0.87889172 0.86503341 0.89297205
## P_NONWHT:a_hinc    1.16093170 1.11856742 1.20490048

인플레이션 제로에 관한 최종 생각. 혼합물의 제로 팽창 성분에 대한 방정식을 지정할 수있는 제로 팽창 된 포아송 또는 네 빈빈 모델의 다중 레벨 구현 (적어도 내가 아는 것)은 없습니다. glmmADMB모델은 일정한 제로 인플레이션 매개 변수를 추정 할 수 있습니다. 다른 방법은 패키지 에서 zeroinfl기능 을 사용하는 pscl것이지만 다중 수준 모델은 지원하지 않습니다. 따라서 단일 수준 음수 이항의 적합도를 단일 수준 0 팽창 음수 이항과 비교할 수 있습니다. 단일 수준 모델에서 무 인플레이션이 중요하지 않은 경우 다중 수준 사양에서는 중요하지 않을 수 있습니다.

추가

공간 자기 상관에 대해 염려되는 경우 지리적 가중 회귀의 일부 형식을 사용하여이를 제어 할 수 있습니다 (영역이 아닌 점 데이터를 사용한다고 생각합니다). 또는 인구 조사를 추가 그룹화 요소 (주, 카운티)별로 그룹화하고이를 무작위 효과로 포함 할 수 있습니다. 마지막으로, 이것이 완전히 실현 가능한지 확실하지 않은 경우, 예를 들어 R_VAC공변량으로 1 차 이웃 의 평균 수를 사용하여 공간 의존성을 통합하는 것이 가능할 수 있습니다 . 어쨌든, 그러한 접근법에 앞서, 공간 자기 상관이 실제로 존재하는지 (글로벌 모란의 I, LISA 테스트 및 유사한 접근법을 사용하여) 결정하는 것이 합리적 일 것이다.


1
brms임의의 효과를 갖는 무 팽창 마이너스 이항 모델에 적합합니다.
Andrew M

@ prestevez와 @Andrew, 이것은 매우 유용합니다! 그것은 내가 겪고있는 많은 문제를 분명히했습니다. 시간을 내 주셔서 감사합니다. brms위에서 설명한대로 zinb 혼합 모델을 glmer.nb 모델 과 비교해 보겠습니다. 또한 인구 조사에서 정의한 장소 (기본적으로 시정촌, ~ 170 그룹)를 무작위 효과 (데이터에서 5 개 카운티 만)에 대한 그룹화 요소로 포함 시키려고합니다. 또한 Global Moran 's I를 사용하여 잔차의 공간 자기 상관을 테스트 할 것입니다. 그 작업을 마치면 다시보고 할 것입니다.
Samuel Walker

@AndrewM, 정보 주셔서 감사합니다! 나는 brms에 대해 알지 못했고 일반적으로 베이지안 통계에 익숙하지 않지만 이제는 그것에 관심이 있습니다.
prestevez

1
@SamuelWalker 다행이 다행입니다! 지방 자치 단체는 좋은 선택처럼 들립니다 (미국 인구 조사 데이터에 익숙하지 않으므로 카운티가 적절한 지 알지 못하고 카운티를 제안했습니다). glmer.nb를 brms 객체에 비교하는 것과 관련하여 베이지안 통계에 익숙하지 않기 때문에 whay가 그것들을 비교하는 가장 좋은 방법이라고 확신하지 못합니다. 행운을 빕니다!
prestevez

1
@SamuelWalker 잠재적 대안은 표준 및 제로 팽창 네빈 모델을 사용 brms하고 비교 하여 사용할 수 있습니다.
prestevez
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.