Plotkin-Shmoys-Tardos 및 Arora-Kale 솔버의 장난감 예제

Arora-Kale SDP 솔버가 거의 선형 시간에 Goemans-Williamson 이완을 근사화하는 방법, Plotkin-Shmoys-Tardos 솔버가 거의 선형 시간의 분수 "패킹"및 "커버링"문제를 근사화하는 방법 및 알고리즘을 이해하고 싶습니다. "전문가로부터의 학습"추상 프레임 워크의 인스턴스입니다.

Kale의 논문은 훌륭한 프리젠 테이션을 가지고 있지만 추상 프레임 워크로 직접 들어가는 것이 매우 어렵다는 것을 알았습니다. 나는해야 할 일이 명백한 간단한 문제의 예에서 시작한 다음보다 일반적인 문제로 이동하는 것을 선호합니다 알고리즘과 분석에 "기능"을 점진적으로 추가합니다.

예를 들면 다음과 같습니다.

Plotkin-Shmoys는 비가 중 정점 커버의 선형 프로그래밍 이완을 어떻게 해결합니까? 가중 정점 커버? 표지를 설정? 이분 일치?

Arora-Kale 알고리즘이 흥미로운 작업을 수행하는 가장 간단한 예는 무엇입니까? 그래프 라플라시안의 최대 고유 값은 어떻게 계산합니까?

(라플라시안의 최대 고유 값을 계산하는 것은 Max Cut의 더 약한 버전의 Goemans-Williamson SDP 이완 문제를 해결하는 문제와 동일합니다. 여기서 각 벡터의 길이가 1이어야하는 대신 사각형의 합을 원합니다. 규범 중 | V |.)

— 루카 트레비 산
소스

좋은 질문입니다.

— Suresh Venkat

패킹 문제에 대한 PST 스타일 알고리즘을 이해하려면 PST가 발전한 다중 상품 흐름 문제를 대략 해결하는 알고리즘을 살펴 보는 것이 좋습니다. 닐 영의 논문은 세트 커버에 대해 자세히 설명합니다. Ihttp : //www.cs.ucr.edu/~neal/non_arxiv/SODA_1995_170.pdf. Arora-Kale-Hazan의 설문 조사는 전문가 프레임 워크와 포장 / 커버링 솔버 사이의 연결을 명시 적으로 만든다고 생각했습니다.

— 찬드라 체 쿠리

@ChandraChekuri : 다소 지연되었지만, 이것이 대답이되어야하는지 궁금합니다.

— Suresh Venkat

FWIW, @ChandraChekuri가 언급 한 SODA 논문에 대한 일부 노트는 greedyalgs.info/blog/about을 참조하십시오 .

— 닐 영

업데이트 된 링크 : algnotes.info/on/obliv

— Neal Young

루카, 1 년이 지난 지금 당신은 아마도 당신 자신의 답을 연구했을 것입니다. 나는 단지 기록을 위해 여기에 당신의 질문 중 일부에 대답하고 있습니다. 나는 당신이 언급 한 문제들에 대한 라그랑 지아 이완 알고리즘을 검토하고, 특히 전문가의 조언에 따라 학습과의 연결을 스케치합니다. SDP 알고리즘에 대해서는 언급하지 않습니다.

언급 한 특정 알고리즘은 거의 선형 시간에 실행되지 않습니다. (대한 거의 선형 시간 알고리즘이 명시 적으로 주어진 포장이나 문제를 덮고. 참조 분수 포장 및 취재 선형 프로그램에 대한 단면 잔 .) 당신이 생각하고있는 알고리즘을 보통의 거의 선형 수가 실행되는 변형이 반복 하지만, 각 반복에는 일반적으로 최소한 선형 시간도 필요합니다. 아래에서 이러한 알고리즘 중 일부에 대해 설명합니다.

유용한 기능들

$y$ $\mbox{Lmax}(y)$ $\ln \sum_i \exp(y_i)$ $\max_i y_i$

max_{i} y_{i} \leq Lmax (y) \leq max_{i} y_{i} + \ln m .

$\max_i y_i ~\le~ \mbox{Lmax}(y) ~\le~ \max_i y_i + \ln m.$

Lmin (y)

$\mbox{Lmin}(y)$

- Lmax (- y)

$-\mbox{Lmax}(-y)$

min_{i} y_{i}

$\min_i y_i$

다음의 편의상, 를 사용하여 의 기울기 를 나타냅니다 . 우리는 를 사용하여 의 기울기 를 나타냅니다 . $g(y)$ $\nabla \mbox{Lmin}(y)$ $G(y)$ $\nabla \mbox{Lmax}(y)$

명시 적으로 는 이고 는 . $g_i(y)$ $\exp(-y_i)/\sum_{i'} \exp(-y_{i'})$ $G_i(y)$ $\exp(y_i)/\sum_{i'} \exp(y_{i'})$

Lmin 및 Lmax는 다음과 같은 의미에서 매끄 럽 습니다. 모든 벡터 및 , 및 $d\in[0,\varepsilon]^n$ $y\in R^n$

Lmin (y + d) \geq Lmin (y) + (1 - O (ε)) d \cdot g (y)

$\mbox{Lmin}(y+d) ~\ge~ \mbox{Lmin}(y) ~+~ (1-O(\varepsilon))\, d \cdot g(y)$

Lmax (y + d) \leq Lmax (y) + (1 + O (ε)) d \cdot G (y) .

$\mbox{Lmax}(y+d) ~\le~ \mbox{Lmax}(y) ~+~ (1+O(\varepsilon))\, d \cdot G(y).$

두 그래디언트 모두 1- 노름이 1과 같습니다. 입니다. ( 이때 우리 는 1- 노름을 나타 내기 위해 를 사용합니다.) $|G(y)| = |g(y)| = 1$ $|z|$

또한 참고 그 매트릭스 용 함수의 기울기 에 대하여 (체인 규칙에 의해)이다 . 보다 구체적으로, 대한 함수의 부분 미분 은 입니다. 마찬가지로, 대한 Lmax 의 부분 도함수 는 입니다. $A$ $x\mapsto \mbox{Lmin}(Ax)$ $x$ $(g(Ax))^T A$ $x_j$ $\sum_i A_{ij} \exp(-A_i x) / \sum_i \exp(-A_i x)$ $(Ax)$ $x_j$ $\sum_i A_{ij} \exp(A_i x)/\sum_i \exp(A_i x)$

분수 세트 커버

Set-Cover 인스턴스를 수정하십시오. 하자 소자 / SET 접속 행렬을 나타낸다. 따라서 인 경우 이고 , 그렇지 않으면 0이고 는 소수 커버 가 요소 포함 하는 정도입니다 . $A$ $A_{es} = 1$ $e\in s$ $A_e x$ $x$ $e$

LP는 . 주어지면 알고리즘은 $\min\{ |x| : A x \ge 1; x \ge 0\}$ $\varepsilon\in (0,1)$

모든 초기화하십시오 . 이라고하자 . $x_s = 0$ $N=\log(n)/\varepsilon$
까지 반복하십시오 : $\min_e A_e x \ge N$

2.1. Lmin wrt 의 부분 미분을 최대화하는 선택하십시오 . (명시 적으로, 최대화 .) $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp(-\sum_{s'\ni e} x_{s'})$

2.2. 를 증가시킵니다 . $x_s$ $\varepsilon$
반환 합니다. $x/\min_{e} A_e x$

이 알고리즘은 반복에서 근사 솔루션을 반환합니다 . 여기서 은 요소 수이고 는 최적입니다 소수 집합 표지 (일반적으로 ). ( 찬드라가 언급 한 논문 에도 비슷한 알고리즘이 등장한다 . 물론 정점 표지는 특별한 경우이다.) $(1+O(\varepsilon))$ $O(|x^*|\log(n)/\varepsilon^2)$ $n$ $x^*$ $|x^*|\le n$

( 비고 : 반복 바운드는 세트 수, 요소 수에만 의존하지 않으므로 요소에 가중치가 주어지면 알고리즘을 암시 적으로 정의 된 세트 시스템과 함께 사용할 수 있습니다. 최대 (또는 거의 최대) 총 무게의 집합을 찾으십시오 이러한 종류의 오라클은 타원체 알고리즘을 이중 문제 에 적용하는 데 필요한 분리 오라클과 동일합니다 . 요소에 주어진 가중치가 있으면 총 가중치를 최소화 하는 집합을 반환합니다 . 예 : 다중 상품 흐름과 같은 문제의 경우 특정 에지 가중치의 합계를 최소화하는 경로를 찾아야 할 수 있습니다.)

다음은 성능 보증 증명에 대한 스케치입니다. 각 반복에서, 선택된 의 부분 도함수 는 적어도여기서 는 최적의 분수 집합 표지입니다. $s$ $1/|x^*|$ $x^*$

(이유를 알기 위해 대한 Lmin 의 기울기 는 입니다. 분포 에서 무작위 로 세트 를 선택한다면 에 관한 편미분의 기대 값 이에 것 . 이후 이 적어도하다 . 이후 이 적어도이고 . 따라서 존재해야 일부 적어도 편미분주는 알고리즘이 선택 $(Ax)$ $x$ $(g(Ax))^T A$ $s'$ $x^*/|x^*|$ $x_{s'}$ $(g(Ax))^T \,A x^*/|x^*|$ $Ax^* \ge 1$ $|g(Ax)|/|x^*|$ $|g(Ax)|=1$ $1/|x^*|$ $s$ $1/|x^*|$ $x_s$ 부분 미분 을 최대화하기 위해 각 반복 에서, 적어도 의 부분 미분을 달성 .) $1/|x^*|$

그런 다음 스텝 크기 이 충분히 작게 선택되어 좌표 가 보다 증가 하지 않습니다 . 따라서 Lmin의 부드러움으로 인해 를 늘리면 가 최소한 . $\varepsilon$ $A x$ $\varepsilon$ $x_s$ $x_s+\varepsilon$ $\mbox{Lmin}(Ax)$ $(1-O(\varepsilon))\varepsilon/|x^*|$

이런 식으로, 알고리즘은 불변 (Lmin 은 같습니다 .)

Lmin (A x) \geq (1 - O (ε)) | x | / | x^{*} | - \ln n .

$\mbox{Lmin}(Ax) \ge (1-O(\varepsilon)) |x|/|x^*| - \ln n.$

(\bar{0})

$(\overline 0)$

\ln n

$\ln n$

종료시, 불변에서 항은 왼쪽에 곱하기 때문에 계산에 의해. 알고리즘의 마지막 줄에서 정규화 한 후에는. $\ln n$ $O(\varepsilon)$ $\min_e A_e x \ge (1-O(\varepsilon)) |x|/|x^*|$ $|x| \le (1+O(\varepsilon))|x^*|$

FWIW에서, 불변량을 증명하는 것과 관련된 불평등은 본질적으로 Chernoff 경계를 증명하는 것과 관련된 불평등과 동일합니다. (사실,이 알고리즘은 무작위 라운딩 방식으로 조건부 확률의 방법을 적용하여 유도 될 수있는 분배에서 반복적으로 샘플 세트를 (여분으로) 증가 각 샘플 세트에 대한 이것의 비 무작위 화는 알고리즘을 제공한다 : 근본적인 불변은 단지 비관적 추정기가 1 미만으로 유지된다는 것이다. 찬드라는 논문 에서 언급했다 .) $x^*/|x^*|$ $x_s$ $s$

분수 가중 세트 커버 (및 일반 분수 커버링)

Weighted Set Cover와 같은 문제를 효율적 으로 처리하기 위해 균일하지 않은 증분 ( Garg 및 Konemann 으로 인한 아이디어)을 사용하도록 알고리즘을 수정합니다 .

LP는 . 여기서 는 요소 범위 , 범위는 세트이며 모든 변수는 비 -부정. 알고리즘을 제시하려면 먼저 문제를 일반적인 문제로 다시 작성하십시오. 하자 에 대한 와 , 그렇지 않으면. 그런 다음 변수를 변경하고 각 를 스케일링 하면 LP는 , LP를 다루는 일반적인 것으로 볼 수 있습니다. 알고리즘은 다음과 같습니다. $\min\{ c\cdot x : (\forall e) \sum_{s\ni e} x_s \ge 1\}$ $e$ $s$ $A_{es} = 1/c_s$ $e\in s$ $A_{es} = 0$ $x_s$ $c_s$ $\min\{ |x| : A x \ge 1; x \ge 0\}$

모든 초기화하십시오 . 이라고하자 . $x_s = 0$ $N=\log(n)/\varepsilon$
모든 포함 구속 조건이 삭제 될 때까지 반복하십시오.

2.1. Lmin wrt 의 부분 미분을 최대화하는 선택하십시오 . (명시 적으로 최대화 .) $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp({-\sum_{s'\ni e} x_{s'}})/c_s$

2.2. 를 만큼 증가 . 여기서 는 최대로 선택되어 나머지 모든 적용 제한 조건 에 대해 의 증가 는 최대 됩니다. $x_s$ $\delta$ $\delta$ $e$ $A_e \cdot x$ $\varepsilon$

2.3 과 같은 모든 제한 조건 삭제하십시오 . $e$ $A_e\cdot x \ge N$
반환합니다 . $x/\min_e A_e\cdot x$

이 알고리즘은 반복에서 근사값을 반환합니다 . 여기서 은 포함 구속 조건의 수입니다. (반복 할 때마다 는 만큼 증가합니다 . 이것은 삭제되기 전에 시간 만 제약 조건까지 발생할 수 있습니다 .) 정확성 증명은 기본적으로 표지 설정과 동일한 불변성을 통해 이루어집니다. $(1+O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $n$ $A_e x$ $\varepsilon$ $N/\varepsilon$

가중치 버텍스 커버는 특별한 경우입니다.

최대 분수 이분법 일치

그래프 주어지면 문제에 대한 자연 LP는 . $G=(U,W,E)$ $\max\{|x| : \forall v.\, \sum_{e\ni v} x_e \le 1\}$

행렬 표현에서 이것은 패킹 LP 0-1 계수의 ( 경우 ). 이러한 문제에는 비 균일 증분이 필요하지 않으므로 비가 중 설정 커버 알고리즘과 유사한 간단한 알고리즘 (그러나 패킹 용)은 다음과 같습니다. $\max\{|x| : Ax \le 1; x \ge 0\}$ $A_{ve} = 1$ $v\in e$

모든 초기화하십시오 . 이라고하자 . $x_e = 0$ $N=\log(n)/\varepsilon$
동안 : $A x < N$

2.1. Lmax wrt 의 부분 미분을 최소화하는 선택하십시오 . (명시 적으로, 를 선택 하여 를 최소화 하십시오 .) $e$ $(Ax)$ $x_e$
$e$ $\sum_{v\in e} \exp(\sum_{e'\ni v} x_{e'})$

2.2. 를 만큼 증가시킵니다 . $x_e$ $\varepsilon$
반환 합니다. $x/\max_{v} A_v x$

이 알고리즘은 반복 에서 근사 솔루션을 반환합니다 . (각 반복이 만큼 를 증가시키고 , 마지막으로 정규화하기 전에 . $(1-O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $|x|$ $\varepsilon$ $|x| = O(N n)$

퍼펙트 바이 파 타이트 매칭을위한 흥미로운 대안 알고리즘이 있습니다. 그 리콜 . 하자. $G=(U,W,E)$ $n=|U|=|W|$

모든 초기화하십시오 . 이라고하자 . $x_e = 0$ $N=4\ln(n)/\varepsilon$
반복 시간 : $n\,N$

2.1. 에서 임의로 균일하게 선택하십시오 . 2.2. 선택 되도록 의 최소화 . 2.3. 만큼 를 늘리십시오 . $u$ $U$
$w$ $(u,w)\in E$ $\sum_{e\ni w} x_e$
$x_{uw}$ $\varepsilon$
반환합니다 . $x/N$

경우 완벽한 매칭 알고리즘 복귀 갖는 같은 그런 , 및, 높은 확률로, 모든 정점에 대한 , , 모든 정점에 대한 , . 증명의 세부 사항에 관심이 있으시면 다음을 요청하십시오. $G$ $x$ $|x|=n$ $u\in U$ $1-O(\varepsilon) \le \sum_{e\ni u} x_e \le 1+O(\varepsilon)$ $w\in W$ $\sum_{e\ni w} x_e \le 1+O(\varepsilon)$

혼합 포장 및 취재

당신은 양자 일치하는의 예는 희망에 대해 질문했을 수 있습니다 혼합 입니다 포장 및 문제를 덮고, 양식 중 하나는 이러한 문제에 대한 하나의 알고리즘이 있습니다. 먼저 및 되도록 정규화하십시오 .

\exists x ? P x \leq p; C x \geq c; x \geq 0.

$\exists x?~ Px \le p; Cx \ge c; x \ge 0.$

p = \bar{1}

$p=\overline 1$

c = \bar{1}

$c=\overline 1$

을 제약 조건의 수 ( 행과 행)로 하자 . $m$ $P$ $C$

모든 초기화하십시오 . 이라고하자 . $x_j = 0$ $N=2\ln(m)/\varepsilon$
동안 : $P x < N$

2.1. 대한 Lmax 의 부분 미분 값이 대한 Lmin 의 부분 미분 값이되도록 선택하십시오 . ( , 선택 하면 $j$ $(Px)$ $x_j$ $(Cx)$ $x_j$ $j$
$\frac{\sum_{i} P_{i j} \exp (P_{i} x)}{\sum_{i} \exp (P_{i} x)} \leq \frac{\sum_{i} C_{i j} \exp (- C_{i} x)}{\sum_{i} \exp (- C_{i} x)} .)$ $\frac{\sum_i P_{ij} \exp(P_i x)}{\sum_{i}\exp(P_i x)} \le \frac{\sum_i C_{ij} \exp(-C_i x)}{\sum_{i}\exp(-C_i x)}.)$

2.2. 제약 조건 또는 나머지 제약 조건 가 이상 증가 하지 않도록 가 최대로 선택 되는 를 만큼 증가시킵니다 . $x_j$ $\delta$ $\delta$ $P_i x$ $C_i x$ $\varepsilon$

2.3. 과 같은 모든 제한 조건 삭제하십시오 . $i$ $C_i x \ge N$
반환합니다 . $x/\max_i P_i x$

주어진 문제가 실현 가능하다고 가정하면 알고리즘은 및 과 같은 반환합니다 . 반복 횟수는 . 각 반복은 만큼 제약 조건을 증가시키기 때문에 각 제약 조건 마다 최대 번 발생할 수 있기 때문 입니다. $x$ $Px\le 1$ $Cx\ge 1-O(\varepsilon)$ $O(m\ln(m)/\varepsilon^2)$ $\varepsilon$ $N$

정확성 증명은 불변 불변은 종료시 왼쪽은 이며 성능을 보장합니다.

Lmax (P x) \leq 2 \ln (m) + (1 + O (ε)) Lmin (C x) .

$\mbox{Lmax}(Px) \le 2\ln(m) + (1+O(\varepsilon)) \mbox{Lmin}(Cx).$

max P x \leq 2 \ln (m) + (1 + O (ε)) min C x .

$\max Px \le 2\ln(m) + (1+O(\varepsilon)) \min Cx.$

Ω (\log (m) / ε)

$\Omega(\log(m)/\varepsilon)$

2.1 단계 에서, 원래의 문제가 실현 가능한 한 원하는 가 존재해야합니다. ( 가능한 모든 및 에 대해 분포에서 랜덤 를 선택하면 Lmax 의 부분 미분의 예상 값 이되기 때문 입니다. 관련하여 이하인 것이 . (집합 커버 이전 증명 스케치 참조) 이와 같이, L 최소의 편미분의 기대 값 에 대하여 는 되므로 $j$ $x^*$ $x$ $j'$ $x^*/|x^*|$ $(Px)$ $x_{j'}$ $1/|x^*|$ $(Cx)$ $x_{j'}$ $1/|x^*|$ $j$ 대한 Lmax 의 부분 도함수가 Lmin 의 부분 도함수와 같아야 합니다.) $(Px)$ $x_{j'}$ $(Cx)$

와 의 선택 과 Lmin과 Lmax의 매끄러움으로 인해 를 증가 시키면 Lmax 가 최대 배 만큼 증가 하기 때문에 각 반복에서 불변은 유지됩니다 . Lmin 증가 . $x_j$ $\delta$ $x_j$ $x_j+\delta$ $(Px)$ $1+O(\varepsilon)$ $(Cx)$

학습 (전문가 팔로우 / 부스팅)

이 연결을 이해하기위한 하나의 참조는 Freund와 Schapire의 곱하기 가중치를 사용한 적응 형 게임 플레이 입니다. 다음은 기술 아이디어를 제공하는 간단한 요약입니다.

다음과 같은 반복 게임을 고려하십시오. 각 라운드에서 : $t$

( 소위 전문가 ) 에서 확률 분포 를 선택합니다 . $p^t$ $[n]$ $n$
알면 공격자는 페이 오프 벡터 합니다. $p^t$ $a^t\in [0,1]^{n}$
당신 은 라운드에 대한 지불 를받습니다. $p^t\cdot a^t$

라운드가 끝난 후 게임이 중단됩니다. 귀하의 목표는 단일 전문가 (즉, 순수한 전략)와 비교하여 후회를 최소화하는 것 입니다. . 즉, 목표는 를 최소화 입니다. $i$ $(\max_i \sum_t a^t_i) - \sum_t p^t\cdot a^t$

수정하십시오 . 벡터하자 나타내고 , 즉, 최대 시간으로 귀결 벡터의 시간 벡터 합 . 호출은 L 최대의 구배 . $\varepsilon>0$ $y^t$ $\varepsilon \sum_{s \le t} a^s$ $\varepsilon$ $t$ $G(y)$ $(y)$

분석 할 기본 전략은 다음과 같습니다. 라운드 에서 를 합니다. $t$ $p^t$ $G(y^{t-1})$

검사를 통해 라운드 에서 을 얻을 수 있습니다. $a^t \cdot G(y^{t-1})$ $t$

때문에 부드러움 속성 , 즉, 각 라운드에서 는 배 이상 늘릴 수 없습니다 . 이후 이 그 불변 유지 총 보수 시간 많아야이다 플러스 한편, 최고의 전문가에 비해 당신의 후회. 있다는 , 즉, $F$

Lmax (y^{t}) \leq Lmax (y^{t - 1}) + (1 + O (ε)) ε a^{t} \cdot G (y^{t - 1}) .

$\mbox{Lmax}(y^t) \le \mbox{Lmax}(y^{t-1}) + (1+O(\varepsilon)) \varepsilon a^t \cdot G(y^{t-1}).$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε))

$\varepsilon(1+O(\varepsilon))$

Lmax (\bar{0}) = \ln n

$\mbox{Lmax}(\overline 0) = \ln n$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε)

$\varepsilon(1+O(\varepsilon)$

\ln (n)

$\ln(n)$

i

$i$

max_{i} \sum_{t} a_{i}^{t}

$\max_i \sum_t a^t_i$

ε^{- 1} max_{i} y_{i}^{t}

$\varepsilon^{-1} \max_i y^t_i$ 최대 입니다.

ε^{- 1} Lmax (y^{t})

$\varepsilon^{-1} \mbox{Lmax}(y^t)$

따라서 후회는 최대 에 곱하기 총 지불액입니다. $\varepsilon^{-1} \ln(n)$ $O(\varepsilon)$

비고 : Freund와 Schapire가 지적했듯이, "이론"에서 "부스팅"알고리즘도이 분석에 내재되어 있다고 생각합니다. 자세한 내용은 해당 논문을 참조하십시오.

총 지불금 최소화

총 지불액을 최대화하기보다는 최소화 하는 것이 목표 인 설정에 대해 유사한 전략을 도출 할 수 있습니다 . 여전히 최소화하려는 후회는 입니다. 이 경우 해당 전략은 를 의 그래디언트 로 선택 하는 것 입니다. 이 전략을 사용하면 후회는 최대 + 총 보수를 곱한 값입니다. $\sum_t p^t\cdot a^t - \min_i a^t_i$ $p^t$ $\mbox{Lmin}(y^t)$ $\varepsilon^{-1} \ln n$ $O(\varepsilon)$

라그랑 지아 이완 알고리즘에 연결

Lagrangian-relaxation 알고리즘과의 연결을 보려면 Set-Cover 인스턴스를 수정하십시오. 전문가 가 귀하의 세트 시스템 의 요소 에 해당하는 후자의 게임 유형 (페이 오프 최소화를 목표로) 을 고려하십시오. 각 라운드에서 확률 분포 선택 L 최소의 기울기로 상기와 같이, 상기 원수는 벡터 보수 선택이 의 함수로서 다음과 같이 설정 선택 극대화 후하게 의 경우 하고 그렇지. $e$ $p^t$ $(y^t)$ $a^t$ $p^t$ $s^t$ $\sum_{e\in s} p^t_e$ $a^t_e = 1$ $e\in s^t$ $a^t_e = 0$

올바른 정지 조건 (아래에 설명)이 주어지면이 프로세스는 시작시 논의 된 Set-Cover 알고리즘을 정확하게 제공합니다.

알고리즘의 성능 보증은 다음과 같이 후회 범위를 따릅니다. 하자 사탄이 세트 선택 횟수 수 재생하는 동안. 하자 최적의 부분 집합을 커버 할. 하자플레이 한 라운드 수입니다. 후회는 $X_s$ $s$ $x^*$ $T=|X_s|$

\sum_{t} a^{t} \cdot p^{t} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\textstyle \sum_t a^t\cdot p^t \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

정의를 사용 는 번째 보수합니다 ( 왼쪽 요컨대 번째 항은 같음) . 적은 이 보수를 최소화하기 위해 를 선택했습니다 . 대적이 대신 분포 에서 무작위로 를 선택한 경우 , 대가의 기대치는 (위의 모든 대해 을 사용 하고 합니다.) 각 보수는 최소한 $a^t$ $t$ $t$ $\sum_{e\in s^t} p^t_e$ $s^t$ $s^t$ $x^*/|x^*|$

\sum_{s} \frac{x_{s}^{*}}{| x^{*} |} \sum_{e \in s} p_{e}^{t} = \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} \sum_{s ∋ e} x_{s}^{*} \geq \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} = \frac{1}{| x^{*} |} .

$\sum_s \frac{x^*_s}{|x^*|} \sum_{e\in s} p^t_e ~=~ \frac{1}{|x^*|} \sum_e p^t_e \sum_{s\ni e} x^*_s ~\ge~ \frac{1}{|x^*|} \sum_e p^t_e ~=~ \frac{1}{|x^*|}.$

\sum_{s ∋ e} x_{s}^{*} \geq 1

$\sum_{s\ni e} x^*_s \ge 1$

e

$e$

| p^{t} | = 1

$|p^t| = 1$

1 / | x^{*} |

$1/|x^*|$ 후회 바운드는 의 정의에 , 우리가 (각 라운드는 하나의 세트를 선택), , 우리는 일 때 프로세스를 중지 하므로 (용어를 다시 정렬) 즉, 정규화 는 최대 크기의 소수 집합 커버를 제공합니다 배 최적.

\frac{T}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\frac{T}{|x^*|} \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

X

$X$

| X | = T

$|X| = T$

\sum_{t} a_{e}^{t} = \sum_{e} [e \in s^{t}] = \sum_{s ∋ e} X_{s}

$\sum_t a_e^t = \sum_e [e\in s^t] = \sum_{s\ni e} X_s$

\frac{| X |}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{s ∋ e} X_{s} .

$\frac{|X|}{|x^*|} \le \varepsilon^{-1}\ln(m) +\min_e \sum_{s\ni e} X_s.$

min_{e} \sum_{s ∋ e} X_{s} = Ω (ε^{- 2} \ln m)

$\min_e \sum_{s\ni e} X_s = \Omega(\varepsilon^{-2}\ln m)$

\frac{| X |}{min_{e} \sum_{s ∋ e} X_{s}} \leq (1 + O (ε) | x^{*} | .

$\frac{|X|}{\min_e \sum_{s\ni e} X_s}~ \le~ (1+O(\varepsilon)|x^*|.$

X

$X$

(1 + O (ε))

$(1+O(\varepsilon))$

비고 : 어떤 의미에서이 학습 이론 해석은 알고리즘 해석을 일반화합니다. 그러나 효율성에 필요한 일부 알고리즘 기술 (예 : 비 균일 증분 및 만족스러운 포함 제약 조건 제거)은 학습 이론 설정에 자연스럽게 적용되지 않는 것 같습니다. 마찬가지로, 혼합 패킹 및 LP를 커버하는 알고리즘 (예 : 이들 )은 학습 이론 설정에서 자연스런 유사성을 갖지 않는 것 같습니다.

— 닐 영
소스

그것은 꽤 답입니다!

— Suresh Venkat

감사. 아마 그것을 과장했다. 피드백에 관심이 있습니다 : 이러한 아이디어를 접근 가능하게 제시하는 방법, 기타 포함 할 내용 ...

— Neal Young