Cross Validated 웹 사이트 의 키워드 / 태그 를 살펴볼 수 있습니다.
네트워크로서의 지점
이를 수행하는 한 가지 방법은 키워드 간의 관계 (동일한 게시물에서 얼마나 자주 일치하는지)를 기반으로 네트워크로 구성하는 것입니다.
이 sql-script를 사용하여 (data.stackexchange.com/stats/query/edit/1122036)에서 사이트 데이터를 가져올 때
select Tags from Posts where PostTypeId = 1 and Score >2
그런 다음 점수가 2 이상인 모든 질문에 대한 키워드 목록을 얻습니다.
다음과 같은 것을 그려서 해당 목록을 탐색 할 수 있습니다.
업데이트 : 색상 (관계 행렬의 고유 벡터를 기반으로 함)과 동일하며 자체 학습 태그가 없음
이 그래프를 좀 더 정리할 수 있습니다 (예 : 소프트웨어 태그와 같은 통계 개념과 관련이없는 태그를 제거하십시오 (위의 그래프에서 이미 'r'태그에 대해 수행됨)). 시각적 표현을 개선 할 수 있습니다. 위의 이미지는 이미 좋은 출발점을 보여줍니다.
R 코드 :
#the sql-script saved like an sql file
network <- read.csv("~/../Desktop/network.csv", stringsAsFactors = 0)
#it looks like this:
> network[1][1:5,]
[1] "<r><biostatistics><bioinformatics>"
[2] "<hypothesis-testing><nonlinear-regression><regression-coefficients>"
[3] "<aic>"
[4] "<regression><nonparametric><kernel-smoothing>"
[5] "<r><regression><experiment-design><simulation><random-generation>"
l <- length(network[,1])
nk <- 1
keywords <- c("<r>")
M <- matrix(0,1)
for (j in 1:l) { # loop all lines in the text file
s <- stringr::str_match_all(network[j,],"<.*?>") # extract keywords
m <- c(0)
for (is in s[[1]]) {
if (sum(keywords == is) == 0) { # check if there is a new keyword
keywords <- c(keywords,is) # add to the keywords table
nk<-nk+1
M <- cbind(M,rep(0,nk-1)) # expand the relation matrix with zero's
M <- rbind(M,rep(0,nk))
}
m <- c(m, which(keywords == is))
lm <- length(m)
if (lm>2) { # for keywords >2 add +1 to the relations
for (mi in m[-c(1,lm)]) {
M[mi,m[lm]] <- M[mi,m[lm]]+1
M[m[lm],mi] <- M[m[lm],mi]+1
}
}
}
}
#getting rid of < >
skeywords <- sub(c("<"),"",keywords)
skeywords <- sub(c(">"),"",skeywords)
# plotting connections
library(igraph)
library("visNetwork")
# reduces nodes and edges
Ms<-M[-1,-1] # -1,-1 elliminates the 'r' tag which offsets the graph
Ms[which(Ms<50)] <- 0
ww <- colSums(Ms)
el <- which(ww==0)
# convert to data object for VisNetwork function
g <- graph.adjacency(Ms[-el,-el], weighted=TRUE, mode = "undirected")
data <- toVisNetworkData(g)
# adjust some plotting parameters some
data$nodes['label'] <- skeywords[-1][-el]
data$nodes['title'] <- skeywords[-1][-el]
data$nodes['value'] <- colSums(Ms)[-el]
data$edges['width'] <- sqrt(data$edges['weight'])*1
data$nodes['font.size'] <- 20+log(ww[-el])*6
data$edges['color'] <- "#eeeeff"
#plot
visNetwork(nodes = data$nodes, edges = data$edges) %>%
visPhysics(solver = "forceAtlas2Based", stabilization = TRUE,
forceAtlas2Based = list(nodeDistance=70, springConstant = 0.04,
springLength = 50,
avoidOverlap =1)
)
계층 적 분기
위의 이러한 네트워크 그래프 유형은 순전히 분기 된 계층 구조에 대한 비판과 관련이 있다고 생각합니다. 원하는 경우 계층 적 클러스터링을 수행하여 계층 적 구조로 만들 수 있다고 생각합니다.
아래는 이러한 계층 적 모델의 예입니다. 여전히 다양한 클러스터에 대한 적절한 그룹 이름을 찾아야합니다. 그러나이 계층 적 클러스터링이 좋은 방향이라고 생각하지 않으므로 열어 둡니다.
클러스터링에 대한 거리 측정은 시행 착오에 의해 발견되었습니다 (클러스터가 양호 해 보일 때까지 조정 함).
#####
##### cluster
library(cluster)
Ms<-M[-1,-1]
Ms[which(Ms<50)] <- 0
ww <- colSums(Ms)
el <- which(ww==0)
Ms<-M[-1,-1]
R <- (keycount[-1]^-1) %*% t(keycount[-1]^-1)
Ms <- log(Ms*R+0.00000001)
Mc <- Ms[-el,-el]
colnames(Mc) <- skeywords[-1][-el]
cmod <- agnes(-Mc, diss = TRUE)
plot(as.hclust(cmod), cex = 0.65, hang=-1, xlab = "", ylab ="")
StackExchangeStrike에 의해 작성
