워렌 버핏 문제

다음은 여름에 진행 한 온라인 학습 / 적기 문제의 추상화입니다. 나는 전에 이와 같은 문제를 보지 못했고 꽤 흥미로워 보인다. 관련 작업에 대해 알고 있다면 참조 해 주셔서 감사합니다.

문제 설정은 다중 무기 적기의 설정입니다. 당신은 N 개의 무기를 가지고 있습니다. 각 팔 i는 보상을 통해 알 수는 없지만 고정 된 확률 분포를 가지고 있으며,이를 통해 얻을 수 있습니다. 구체적으로, 각 팔 i 는 확률 p [i]로 $ 10를 보상하고 prob로 $ 0를 보상 한다고 가정합시다 . 1-p [i] .

모든 라운드 t에서 당신 은 플레이 할 팔의 S [t] 를 선택합니다 . 선택한 각 팔에 대해 선불 $ 1 를 지불합니다 . 선택한 각 팔에 대해 해당 팔의 (알 수없는) 보상 확률 분포에서 얻은 보상을 수집합니다. 모든 보상은 귀하의 은행 계좌로 입금되며 모든 수수료는 해당 계좌에서 공제됩니다. 또한 1 달러 의 크레딧을받습니다 매 반복이 시작될 때마다 .

문제는 음이 아닌 계정 잔액을 유지해야한다는 제약 조건에 따라 충분히 긴 기간 동안 수익을 극대화하기 위해 각 반복에서 재생할 하위 세트를 선택하는 정책을 개발하는 것입니다 항상.

나는 팔당 보상 분배가 이전 분배에서 선택되는지 또는 적에 의해 선택되는지를 지정하지 않았습니다. 두 가지 선택 모두 의미가 있습니다. 적의 공식은 나에게 더 매력적이지만, 진전을 이루기가 더 어려울 것입니다. 여기서 대적은 분포의 벡터 (D1, D2, .., DN)를 선택합니다. 분배를 고려할 때, 최적의 예산 균형 정책은 예상 보상이 $ 1보다 큰 모든 무기를 사용하는 것입니다. P가이 최적 전지구 적 정책의 단계적 이익이라고하자. 온라인 정책이이 전능 한 정책으로 후회 (즉, 기간 T에 따른 이익 손실)를 최소화하기를 원합니다.

나는이 문제에 대해 가능한 많은 접근법이 있다고 생각합니다 (많은 것들이 당신이 생각한다고 확신합니다)-여기 몇 가지 아이디어 / 참조가 있습니다.

• 이것을 N으로 재생할 수 있습니다$N$ 독립적 인 병렬 싱글 암 산적 게임 , 각 팔을 독립적으로 당기거나 당기지 않기로 결정합니다. 보상이 독립적으로 배포되는 경우 특히 효과적입니다.
• 각 무기 세트가 새 무기가되도록하고 Exp3 유형 알고리즘을 실행하십시오. 이것은 후회를 제공합니다.$O(2^{N/2} T^{1/2})$
• 다가오는 NIPS 2010 논문에서 Saten Kale, Rob Schapire 및 저는 한 번에 슬레이트를하는 사례를 고려 합니다. 그러나 우리의 작업에서 슬레이트의 크기는 고정되어 있습니다. 이 백서에서도 비슷한 문제를 고려합니다. 또 다른 유사한 작품 아마도 ALT 2010 년 아이디어 전송의 일부에 출연했다.
• 당신은 전문가의 문제로 취급하는 경우 (각 전문가의 다른 하나의 권장 한 전문가에 따라, 당신은 사용하여 풀에 팔을 자신의 선택에 비어 있지 않은 교차로가 다른 전문가의 성능을 평가받을 수, 서브 세트) 중요성 가중치 . Exp4 유형 분석으로 O ( N $2^N$후회하지만O(2NT)실행 시간.$O(N\sqrt{T})$$O(2^N T)$

아래 편집 :

예산 제약 ( 이하로 떨어지지 않음 )으로 인해 문제를 다루기 어려운 것으로 보입니다 . 예산이 1이라고 가정하십시오 . 대적은 무기 중 하나가 항상 돈을 지불하고 나머지는 결코 돈을 지불하지 못하게 할 수 있습니다. WP는 그래서 ( N - 1 ) / n은 첫 번째 라운드에서 가슴을 갈 최적의 전략을 느끼는 동안 T의 후 달러를 T의 라운드. 따라서 당신의 예상 후회는 적어도 ( n - 1 ) T /$0$$1$$(n-1)/n$$T$$T$$(n-1)T/n$ 이며 높은 확률 한계를 기대할 수는 없습니다.

또한 이것은 초기 예산에 효과가있는 것으로 보입니다. 달러로 시작한다고 가정 해보십시오 . 그러면 적은 한 팔을 제외한 모든 무기에 0 을 지불 하고 한 팔은 2 B wp 1 / B 와 같은 것을 지불 하도록 설정할 수 있습니다 . 가능한 지불금 한도 및 초기 예산이 충분하다면 흥미로운 문제가 생길 수 있습니다.$B$$0$$2B$$1/B$