xδfxx
최적화 문제가 있다고 상상해보십시오.
minimize (over x)subject tof(x)∀j∈{1…k}gj(x)≤0
여기서 이고 제약 조건이 있습니다.x∈Rnk
하자 의 기울기 나타내는 열 벡터 일 에서 평가 .∇f(x)fx
이 상황에 적용이 Farkas 보낸 보조 정리는 주장이 어떤 점에 대한 정확히 한 다음 설명 중 원하는 분야x∈Rn
- 존재 이되도록 및λ∈Rk∑kj=1λj∇gj(x)=−∇f(x)λ≥0
- 존재 되도록 과δ∈Rn∀jδ′gj(x)≤0δ′∇f(x)<0
이것은 무엇을 의미 하는가? 실행 가능한 포인트 에 대해 다음 중 하나를 의미합니다.x
- 조건 (1)이 유지되고 KKT 조건이 충족됩니다.
- 조건 (2)는 구속 조건 를 증가시키지 않고 목적 함수 를 향상시키는 방향 이 있습니다. (예 : 에서 로 이동 하여 를 향상시킬 수 있습니다 )δfgjfxx+ϵδ
조건 (1) 은 KKT 조건이 지점에서 충족되도록 음이 아닌 승수 있음을 나타 냅니다. (기하학적으로, 는 구속 조건의 그라디언트로 정의 된 볼록한 원뿔에 있다고합니다 .)λx−∇f
조건 (2)는 지점에 과 같이 (로컬로) 이동 하는 방향이 있다고 말합니다.xδ
- 방향으로 이동 하면 목적 함수가 줄어 듭니다 ( 의 내적 과 가 0보다 작기 때문에).δ∇f(x)δ
- 의 내적 과 의 내적 이 모두 0보다 때문에 방향으로 이동 해도 제약 조건의 값이 증가하지 않습니다. 제약 조건 ).δ∇gj(x)δj
(형상으로, 가능한 방향 은 벡터 와 벡터 의해 정의 된 볼록한 원뿔 사이의 분리 초평면을 정의합니다 .δ−∇f(x)∇gj(x)
(참고 : 이것을 Farkas Lemma 에 매핑하려면 행렬 )A=[∇g1,∇g2,…,∇gk]
이 주장은 KKT 조건의 필요성 (최적은 아님)을 최적으로 제공합니다. KKT 조건이 충족되지 않고 제약 조건 자격 조건이 충족되면 제약 조건을 위반하지 않고 목표를 개선 할 수 있습니다.
제한 조건의 역할
무엇이 잘못 될 수 있습니까? 구속 조건의 그라디언트가 실행 가능한 방향을 정확하게 설명하지 못하는 퇴화 상황을 얻을 수 있습니다.
위의 주장이 효과를 발휘할 수 있도록 다양한 제약 조건 을 선택할 수 있습니다.
최소, 최대 해석 (가장 직관적 임)
라그랑지안 형성
L(x,λ)=f(x)+∑j=1kλjgj(x)
제약 조건 따라 를 최소화하는 대신 , 일부 상대가이를 최대화하려고하는 동안 을 최소화하려고한다고 상상해보십시오 . 승수 를 제약 조건을 위반 한 페널티 (일부 상대가 선택한)로 해석 할 수 있습니다 . g j L λ ifgjLλi
원래 최적화 문제에 대한 솔루션은 다음과 같습니다.
minxmaxλL(x,λ)
그건:
- 먼저 를 선택 하여 Lagrangian 을 최소화하십시오 .xL
- 그런 다음 을 선택하여 라그랑지안을 최대화합니다 (선택한 ).λx
예를 들어, 제약 조건 을 위반 하면 를 무한대 로 설정하여 불이익을 줄 수 있습니다 !g2λ2
약한 이중성
함수 대해 다음을 관찰하십시오.f(x,y)
∀x^,y^minxf(x,y^)≤f(x^,y^)≤maxyf(x^,y)
이는 및 대해 보유하므로 다음과 같이 보유합니다.
x^y^
maxyminxf(x,y)≤minxmaxyf(x,y)
Langrian 설정에서이 결과는 은 약한 이중성으로 알려져 있습니다.maxλminxL(x,λ)≤minxmaxλL(x,λ)
이중 문제 은 솔루션에 대한 하한을 제공합니다maxλminxL(x,λ)
강한 이중성
특정 특수 조건 (예 : Slater 조건이 유지되는 볼록한 문제)에서는 강한 이중성이 있습니다 (예 : 새들 포인트 속성).
maxλminxL(x,λ)=minxmaxλL(x,λ)
이 아름다운 결과는 문제의 순서를 바꿀 수 있음을 의미합니다.
먼저 라그랑지안을 극대화하기 위해 페널티를 선택 합니다.λ
그런 다음 를 선택 하여 Lagrangian 을 최소화하십시오 .xL
이 프로세스에서 설정 한 는 제한 조건을 위반하는 가격이며, 제한 조건을 위반하지 않도록 가격이 설정됩니다.λ
사용자 23658