빠른 행렬 곱셈을위한 메모리 요구 사항

12

행렬 을 곱한다고 가정합니다 . 느린 행렬 곱셈 알고리즘에서 실행 시간 및 용법 메모리. 가장 빠른 행렬 곱셈은 시간 에서 실행됩니다 . 여기서 는 선형 대수 상수이지만 메모리 복잡성에 대해 알려진 것은 무엇입니까? $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

빠른 매트릭스 곱셈이 메모리를 소비한다는 것은 선험적으로 가능할 것으로 보인다 . 메모리 에서 수행 될 수 있다는 보장이 있습니까? 현재 알려진 행렬 곱셈 알고리즘이 메모리를 사용하는 경우입니까? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(실제로 직사각형 행렬 곱셈에 관심이 있지만 정사각형의 경우와 정답이 동일하다고 가정하고 정사각형을 더 잘 연구한다고 가정합니다.)

ds.algorithms linear-algebra

— 데이비드 해리스
소스

16

공간 사용량은 모든 Strassen 유사 알고리즘에 대해 최대 입니다 (즉, 대수적으로 행렬 곱셈의 순위에 기반한 알고리즘). Coppersmith–Winograd 알고리즘의 공간 복잡성 보기 $O(n^2)$

그러나 이전 답변에서 공간 사용이 이유를 설명하지 않았다는 것을 깨달았습니다 ... 그래서 여기에 손을 넣습니다. Strassen 유사 알고리즘의 기능을 고려하십시오. 상수 대해 곱셈을 사용하는 행렬 곱셈에 대한 고정 알고리즘에서 시작합니다 . 특히이 알고리즘 (무엇이든)은 다음과 같이 WLOG를 작성할 수 있습니다. $O(n^2)$ $K \times K$ $K^c$ $c < 3$

그것은 계산 다른 행렬 제 행렬의 곱셈 항목 다양한 스칼라 및하여 행렬 번째 행렬에서 와 유사한 형태의 $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
선형 조합 곱한 다음 $L_i \cdot R_i$
항목 에 다양한 스칼라를 곱한 다음 를 얻기 위해 이러한 모든 행렬을 항목별로 더합니다 . $L_i \cdot R_i$ $A \cdot B$

(이것은 소위 "bilinear"알고리즘이지만 모든 "대수"행렬 곱셈 알고리즘은 이런 방식으로 작성할 수 있습니다.) 각 에 대해이 알고리즘은 현재 제품 및 주어진 지점에서 메모리에있는 의 현재 값 (처음에는 모두 0으로 설정)이므로 공간 사용량은 입니다. $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

이 유한 알고리즘이 주어 그 다음 임의적으로 연장되는 으로 큰 매트릭스를 파괴함으로써, 매트릭스 크기의 블록 도포 유한 알고리즘 블록 두 블록을 곱해야 할 때마다 알고리즘을 재귀 적으로 호출합니다. 각 재귀 수준 에서 메모리에 필드 요소 만 보관하면됩니다 ( 저장 $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ 다른 행렬). 행렬 곱셈 에 대한 공간 사용량 이 라고 가정하면, 이 재귀 알고리즘의 공간 사용량은 대해 어느 $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ 행을 해결해 . $S(\ell) \leq O(K^{2\ell})$

— 라이언 윌리엄스
소스

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

1

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

n^{ω + o (1)}

$n^{\omega+o(1)}$

4

$p$ $O(n^2/p)$

— 알렉산더 티 스킨
소스