2 차 다항식의 제곱의 체계적인 연구

나는 2 차 형태와 유사하게 2 차 형태의 제곱의 합계에 대한 체계적인 연구가 존재하는지 궁금합니다. 질문의 중요성과 관련된 몇 가지 예.

1. 주요 성분 분석 (PCA) . 주어진 포인트 세트$x_i \in \mathbb{R^n}, i=1..k$ 축 세트를 찾으십시오 $u_1$... $u_m$는 행렬 으로 작성되고 예상치 분산을 최소화하는 투영 , ..., 즉, 다음의 quartic 최적화 문제를 해결$U \in \mathbb{R^n x R^m}$$\xi_1$$\xi_k, \xi_{\circ} \in \mathbb{R^m}$

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

   대칭의 마법에 의해 단일 값 분해에 의한 솔루션이 있습니다

2. 일반화 된 PCA . PCA와 동일하지만 각 관측 가능한 와 연관된 정밀 행렬 있습니다 . 문제가 더 복잡해집니다$A_i \in \mathbb{R^n x R^n}$$x_i$

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

   (모든 가 항등 행렬 인 경우이 문제는 PCA와 동일합니다. 이고 대각선이면 가중치가 PCA입니다) 이 문제는 semi-definite programming (SDP)을 통해 다항식 시간으로도 해결할 수 있습니다 .- 솔루션은 제곱합의 형태를 갖기 때문에 NZ Shor (1987)는 볼록한 문제이며 Parillo thesis (2000)는 실용적입니다. SDP 를 통해 계산하는 방법$A_i$$A_i = A_j, \forall i,j$$\square$

SDP 접근법에서 quartic polynomial은 2 차 다항식의 제곱으로 기록됩니다. 그러므로 어떤 종류의 정점 다항식이 2 차 형태의 제곱의 형태로 제곱 될 수 있는지를 아는 것이 중요합니다 (2 차 함수와 2 차 함수의 비유로 2 차 형태라고 부를 수 있음). 대부분의 문헌에서 나는 최소의 quartic polynomial 은 파티션 문제를 인코딩하는 데 가 그 이상의 제곱 다항식의 제곱의 합으로 표현 될 수없는 이유 는 없습니다.$p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$$p$

누군가가 이차 다항식의 제곱의 합으로 표현할 수있는 다항식에 대한 체계적인 연구를했는지 궁금합니다.

내가 아는 한, 그러한 연구는 없다. 더욱이, SOS (sum-of-squares) 문제의 기술에서 사소한 진보가 없었다면, 현재 그러한 연구의 즉각적인 이점이 무엇인지 명확하지 않다. (내가 아는 한, 이러한 일반적인 quartic 문제를 해결하는 가장 좋은 방법이기 때문에 SOS 연결에 중점을 둘 것입니다.)이 진술은 긍정적 인 관점에서 이루어져야합니다. 이 문제들. 나는 사람들이 유용하다고 생각하는 방식으로 몇 가지 방법으로 나의 주장을 입증 할 것이다.

먼저, 논의한 유형의 가장 기본적인 문제에 대해 SVD 연결은 SOS 블랙 박스보다 훨씬 더 나은 솔버를 제공합니다. 특히 후자는 항 으로 SDP를 구성합니다 . 여기서 은 소스 최적화 문제의 총 변수 수입니다 (예 : 알 수없는 모든 행렬의 총 요소 수입니다. : 나는이 번호를 어디서 얻었 파블로 Parrilo의 2006 과정에서 강의 10 참조 http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-972-algebraic-techniques-and-semidefinite-optimization -spring-2006 / lecture-notes / lecture_10.pdf ). 이것은 해결하고 싶지 않은 SDP입니다 (실행 시간은 따라$\binom{n+2}{2}$$n$$n$$n^{6}$SVD 솔버의 어리석은 속도와 비교할 때 특히 내부 포인트 솔버를 사용합니까? (일관된 표기법을 사용하면 SVD는 와 비슷 합니다. 열, 행 및 대상 순위의 수, 그러나 내 태만을 교정하는 방법에 관계없이 재앙입니다). 이러한 맥락에서, 다항식 내에서 최대 차수가 2 인 SOS 문제를 해결하기 위해 특수 알고리즘을 설계했다면 놀라운 결과가 될 것입니다.$\mathcal O(n^{1.5})$

두 번째로, 이러한 문제의 기본 공식화가 완료되지 않았기 때문에 이러한 문제의 특정 변형이 SOS 솔버에서 잘 처리되는지 궁금 할 수 있습니다. 중요한 예로서, (위의 공식에서) 최적화하고있는 행렬 미지수에 이제 음수가 아닌 항목이 있어야하는 NMF (음이 아닌 행렬 분해) 문제를 고려하십시오. 불행히도 이러한 문제를 해결하는 데 사용되는 표준 SDP를 사용하는 경우 (예 : Pablo Parrilo의 참고 사항 참조) 이러한 제약 조건을 도입 할 방법이 없습니다. (결과 문제의 일부 공식화는 NP-hard이기 때문에 이제 근사화 체계를 구축하는 것입니다. 즉, 이는 불쾌 할 수 있습니다.) 또한 최근에이 문제의 다항식 구조를 이용하여 일부 문제를 해결하기위한 연구가 진행되고 있습니다. 보증 : 참조Arora, Ge, Kannan 및 Moitra의 http://arxiv.org/abs/1111.0952 몇 가지 알고리즘을 구축하지만 "정확한"NMF 문제 (정확한 인수 분해, 즉 객관적인 값이 0 인 문제)가 해결되면 SOS 솔버를 사용하지 않습니다. "semi"의 가능성을 확인하는 솔버를 사용합니다. -대수 세트 "-훨씬 더 어려운 최적화 문제로, NMF가 제기하는 제약의 종류를 허용하지만 이제 지수 실행 시간이 있습니다.

어쨌든, 더 많은 관점을 요약하고 제공하기 위해; SOS는 당신이 말한 quartic 문제에 대한 유일한 해석기이기 때문에 (즉, 특수 quartic solver가 없다고 생각합니다), 이러한 솔버가 사람들이 관심을 갖는 quartic 문제의 종류에 대한 더 나은 대안을 갖는 방법에 대해 논의했습니다. 여기에서 SOS 도구를 효과적으로 사용하려면 쿼트 사례 (최대 2의 내부 다항식)를위한 놀라운 솔버를 구축하거나 이러한 문제에 제약 조건을 추가 할 수있는 방법을 찾아야합니다. 그렇지 않으면 매혹적인 동안 SOS 문제에 대한 연결로 많은 것을 얻지 못합니다.

또한 당신이 찾은 문헌이 이러한 연관성을 갖지 못한다는 것에 놀랐습니다. 필자는 이것이 실제 SOS 솔버가 새로 워진 것 (SOS 문제에 대한 추상적 인 고려가 아주 멀리 되돌아 왔음에도 불구하고)과 내가 위에서 말한 것에 기인한다고 생각합니다. 실제로 SOS 솔버를 처음 발견했을 때는 Parrilo의 노트와 논문을 통해 이루어졌으며 "PCA 유형 문제에 대해 왜 이야기하지 않습니까?" 그런 다음 위의 사실을 확인하고 눈살을 찌푸 렸습니다. Parrilo 자신이 내가 말할 수있는 한, 그의 논문에서 언급 한 참고 문헌 밖에서 이러한 문제에 대해 논의하지 않았다는 나쁜 징후라고 생각합니다. 이 분야에서 그의 작업에 대해 : 그는 이러한 특정 quartic 문제에 대해 여러 번 생각해야했다.http://arxiv.org/abs/1111.1498 ).