차원 에서 임의의 점이 선형으로 분리 될 확률은 얼마입니까?

각각 특징을 갖는 데이터 점이 주어지면 는 으로 표시되고 다른 는 로 표시됩니다 . 각 피처는 임의로 값을받습니다 (균일 분포). 두 클래스를 나눌 수있는 초평면이 존재할 확률은 얼마입니까?$n$$d$$n/2$$0$$n/2$$1$$[0,1]$

가장 쉬운 경우를 먼저 고려하십시오 (예 : .$d = 1$

데이터에 중복이 없다고 가정합니다.

경우 $n\leq d+1$ , 확률은 $\text{Pr}=1$ .

$(n,d)$ 의 다른 조합에 대해서는 다음 그림을 참조하십시오.

OP에 지정된대로 입력 및 출력 데이터를 시뮬레이션하는이 플롯을 생성했습니다. 선형 분리 성은 Hauck-Donner 효과 로 인해 로지스틱 회귀 모델에서 수렴 실패로 정의되었습니다 .

을 증가시킬 확률이 감소 함을 알 수 있습니다 . 실제로, 우리는 를 와 관련된 모델에 맞출 수 있었고 그 결과는 다음과 같습니다.$n$$n, d$$p$

줄리아의 줄거리 코드 :

using GLM

ds = 10; #number of dimensions to be investigated
ns = 100 #number of examples to be investigated
niter = 1000; #number of iterations per d per n
P = niter * ones(Int64, ds, ns); #starting the number of successes

for d in 1:ds
    for n in (d+1):ns
        p = 0 #0 hits
        for i in 1:niter
            println("Dimensions: $d; Samples: $n; Iteration: $i;")
            try #we will try to catch errors in the logistic glm, these are due to perfect separability
                X = hcat(rand((n,d)), ones(n)); #sampling from uniform plus intercept
                Y = sample(0:1, n)  #sampling a binary outcome
                glm(X, Y, Binomial(), LogitLink())
            catch
                p = p+1 #if we catch an error, increase the count
            end
        end
        P[d,n] = p
    end
end

using Plots

gui(heatmap(P./niter, xlabel = "Number of Samples", ylabel = "Number of Dimensions", title = "Probability of linear separability"))

와 (Julia) 관련 모델 코드 :$(n,d)$$p$

probs = P./niter
N = transpose(repmat(1:ns, 1, ds))
D = repmat(1:ds, 1, ns)

fit = glm(hcat(log.(N[:]), D[:], N[:].*D[:], ones(ds*ns)), probs[:], Binomial(), LogitLink())
coef(fit)
#4-element Array{Float64,1}:
# -4.58261
#  1.37271
# -0.0235785
#  5.82944

gui(heatmap(reshape(predict(fit), ds, ns), xlabel = "Number of Samples", ylabel = "Number of Dimensions", title = "Fit of probability of linear separability"))