gbm 패키지의 출력 용어 의미?

분류를 위해 gbm 패키지를 사용하고 있습니다. 예상대로 결과가 좋습니다. 그러나 분류기의 출력을 이해하려고합니다. 출력에는 5 개의 항이 있습니다.

`Iter   TrainDeviance   ValidDeviance   StepSize   Improve`

누구나 각 용어의 의미, 특히 개선 의 의미를 설명 할 수 있습니까 ?

이것들은 부가 기능 모델의 기본 함수 수, 즉 반복 수, 즉 트리 수에 대한 최상의 값을 결정하는 것과 관련이 있습니다. 나는 이것이 무엇인지 정확하게 설명하는 문서를 찾을 수 없지만 여기에 내 추측과 다른 사람이 주석을 달 수 있습니다.

매뉴얼에서 다음을 수행하십시오.

library(gbm)
# A least squares regression example
# create some data
N <- 1000
X1 <- runif(N)
X2 <- 2*runif(N)

X3 <- ordered(sample(letters[1:4],N,replace=TRUE),levels=letters[4:1])
X4 <- factor(sample(letters[1:6],N,replace=TRUE))
X5 <- factor(sample(letters[1:3],N,replace=TRUE))
X6 <- 3*runif(N)
mu <- c(-1,0,1,2)[as.numeric(X3)]
SNR <- 10 # signal-to-noise ratio
Y <- X1**1.5 + 2 * (X2**.5) + mu
sigma <- sqrt(var(Y)/SNR)
Y <- Y + rnorm(N,0,sigma)
# introduce some missing values
X1[sample(1:N,size=500)] <- NA
X4[sample(1:N,size=300)] <- NA
data <- data.frame(Y=Y,X1=X1,X2=X2,X3=X3,X4=X4,X5=X5,X6=X6)
# fit initial model
gbm1 <- gbm(Y~X1+X2+X3+X4+X5+X6, # formula
data=data, # dataset
var.monotone=c(0,0,0,0,0,0), # -1: monotone decrease,
# +1: monotone increase,
# 0: no monotone restrictions
distribution="gaussian", # bernoulli, adaboost, gaussian,
# poisson, coxph, and quantile available
n.trees=3000, # number of trees
shrinkage=0.005, # shrinkage or learning rate,
# 0.001 to 0.1 usually work
interaction.depth=3, # 1: additive model, 2: two-way interactions, etc.
bag.fraction = 0.5, # subsampling fraction, 0.5 is probably best
train.fraction = 0.5, # fraction of data for training,
# first train.fraction*N used for training
n.minobsinnode = 10, # minimum total weight needed in each node
cv.folds = 5, # do 5-fold cross-validation
keep.data=TRUE, # keep a copy of the dataset with the object
verbose=TRUE) # print out progress

반복 횟수 ( Iter)는 3000으로, 빌드하도록 선택된 트리 수입니다 (모두 표시되지는 않지만 1 ~ 3000). cv.folds = 5를 선택했기 때문에 전체 프로세스가 5 번 반복됩니다.

StepSize 선택한 축소 또는 학습률입니다 (여기서는 0.005).

나는 믿고 Improve다른 나무를 추가하여 일탈 (손실 함수)의 감소이며 (bag.fraction는 <1이 아닌 경우는 계산되지 않습니다 주) 밖으로의 가방 (OOB) 레코드를 사용하여 계산됩니다.

그런 다음 각 반복 TrainDeviance ValidDeviance에 대해 훈련 데이터 및 홀드 아웃 데이터 (단일 홀드 아웃 세트)의 손실 함수 값입니다. train.fraction<1이 아닌 경우 ValidDeviance는 계산 되지 않습니다.

당신은 본 적 이 나무의 최적의 수를 결정하는 방법의 3 가지를 기술하는을?