희소 행렬 곱셈에서 0이 아닌 수를 결정하는 가장 좋은 방법은 무엇입니까?


17

두 행렬이 모두 CSC 또는 CSR 형식이라는 가정하에 희소 행렬 곱셈 연산에 대해 0이 아닌 숫자를 미리 찾는 빠르고 효율적인 방법이 있는지 궁금합니다.

smmp 패키지에 하나가 있지만 C 또는 C ++로 이미 구현 된 것이 필요하다는 것을 알고 있습니다.

도움을 주시면 감사하겠습니다. 미리 감사드립니다.


행렬에 대칭이 있거나 0이 아닌 항목의 위치에 대한 구조가 있습니까?
Godric Seer

@GodricSeer ... 아니, 나는 일반적인 희소 행렬에 대해서만 이야기하고 있습니다. 매트랩에는 nnz (A)가 있습니다. 여기서 A는 0이 아닌 수를 찾기 위해 희소 행렬 방법입니다.
Recker

나는 개인적으로 어떤 대칭이나 구조를 이용하지 않고 실제 행렬 곱셈을하는 것보다 낮은 순서의 숫자를 계산하는 방법을 생각할 수 없습니다. 곱셈을하기 전에 메모리 할당을 위해 이것을 원한다고 가정합니까?
Godric Seer

또한 부울 매트릭스 제품 (모든 매트릭스 제품의 요소를 계산하는 것과 동일)의 수를 추정하는 방법을 설명하는 이 백서 를 발견 했습니다 .
Godric Seer

@GodricSeer .. 그렇습니다. 나는 결과 행렬의 메모리 할당을 위해 정확한 숫자가 필요합니다. 종이에 대한 링크에 감사드립니다.
Recker

답변:


14

두 희소성 패턴의 곱을 형성하여 행렬 행렬 곱을 시뮬레이션 할 수 있습니다. 즉, 희소성 패턴 (CSR 형식으로 별도의 배열에 저장 됨)을 0 또는 1을 포함하는 행렬로 간주합니다. 각 항목. 이 시뮬레이션 제품을 수행하는 단지를 형성하도록 요구 하고이 0과 1에 대한 연산으로 실제 행렬 행렬 제품보다 훨씬 빠릅니다. 실제로 두 행렬의 행과 열을 통과하고 적어도 하나의 항목이 있는지 확인하면됩니다. 두 행렬이 모두 0이 아닌 행과 열을 곱합니다. 이것은 실제 작업에서 부동 소수점 곱셈을 실제로 수행하는 것보다 실제로 저렴한 연산입니다-부동 소수점 산술 (비싼)을 수행 할뿐만 아니라 메모리에서 실제 부동 소수점 숫자를 읽을 수도 있습니다 ( 더 비싸지 만 행렬의 0이 아닌 값은 CSR에 별도로 저장되기 때문에 희소성 패턴을 곱할 때 필요하지 않습니다.


6
이것을 상징적 곱셈이라고합니다. 특히 병렬로 숫자 곱셈보다 저렴하지는 않지만 희소성 패턴 당 한 번만 수행하면됩니다. 많은 알고리즘이 서로 다른 숫자 값으로 동일한 희소성 패턴을 사용하여 여러 번 작업을 수행하므로 기호 곱셈을 재사용 할 수 있습니다.
제드 브라운

좋은 생각이지만, float * float를 병렬로 수행하는 수백만 개의 트랜지스터를 고려할 때, 우리는 여기서 50 % 또는 그 이상의 속도 절약에 대해서만 이야기하고 있습니다.
Evgeni Sergeev 2016 년

1
@EvgeniSergeev-요점은 계산 비용 절감이 아니라 메모리 전송 비용 절감입니다. 희소 행렬 곱셈을위한 메모리 전송에 80 % 이상의 시간을 소비하므로 부동 소수점 데이터를 메모리에서 읽거나 쓸 필요가없는 경우 크게 향상 될 수 있습니다.
Wolfgang Bangerth

분석법의 복잡성을 명시 적으로 설명 하시겠습니까? k에 의해 m 이면 방법에 O ( m k ) 작업이 필요한 것 같습니다. 맞습니까? 미디엄케이영형(미디엄케이)
Carl Christian

@CarlChristian-세부 사항을 해결해야하지만 반드시 수는 없습니다 . 행당 0이 아닌 수를 포함해야합니다. 각 행 에 평균적으로 p가 0이 아닌 m 을 가지고 있고 m = k 가있는 경우 단순성을 위해 O ( m p log p ) 또는 이와 유사한 방법으로 메소드를 구현할 수 있어야한다고 생각합니다 . 그것은 O ( m 2 ) 보다 훨씬 낫습니다 . 영형(미디엄케이)미디엄=케이영형(미디엄로그)영형(미디엄2)
Wolfgang Bangerth

13

실제로 Matlab에서 A * B 용 A와 B 스파 스의 원래 코드를 작성했습니다. 결과를위한 공간의 사전 할당은 실제로 흥미로운 부분이었습니다. 우리는 Godric이 지적한 것을 관찰했습니다. AB에서 0이 아닌 숫자를 아는 것은 AB를 계산하는 것만 큼 비용이 많이 듭니다.

우리는 AB의 크기를 정확하게 추정하는 첫 번째 실용적이고 빠른 방법을 제공 한 에디스 코헨 (Edith Cohen) 논문 이전에 1990 년 경에 스파 스 Matlab의 초기 구현을 수행했습니다. 우리는 열등한 크기 추정기를 구성하고 계산 중 공간이 부족하면 할당을 두 배로 늘리고 부분적으로 계산 된 결과를 복사했습니다.

Matlab에 무엇이 있는지 모르겠습니다.

다른 가능성은 AB를 한 번에 하나의 열로 계산하는 것입니다. 각 열은 스파 스 어큐뮬레이터 (임의의 설명은 스파 스 Matlab 용지 참조)에 임시로 저장 될 수 있으며, 결과 컬럼의 정확한 크기를 유지하기 위해 할당 된 공간이 있습니다. 결과는 메타 데이터로 1이 아닌 길이 numcols (col start, col length)의 2 개의 벡터를 사용하여 분산 압축 압축 스파 스 열 형식 (CSC의 각 열이지만 열간 연속성이 없음)으로 나타납니다. 살펴볼 가치가있는 저장 형식입니다. 그것은 또 다른 강점을 가지고 있습니다-당신은 전체 행렬을 재할 당하지 않고 열을 성장시킬 수 있습니다.


GPU 구현의 경우, 제로가 아닌 구조를 먼저 찾은 다음 실제 행렬을 찾았습니다. 성능은 예상대로 끔찍합니다. 책 에서 설명한 방법을 사용하여 MATLAB의 두 희소 행렬을 효율적으로 곱합니다.
Recker

2
정말, 역사적 관점에 대한 감사를 냉각하고, :) scicomp에 오신 것을 환영합니다
아론 Ahmadia

4

논문은 두 희소 행렬의 행렬 곱으로 결과의 크기를 근사화하는 알고리즘을 설명합니다.

희소 행렬 곱셈에서 정확한 개수의 0이 아닌 항목을 찾는 데 따른 문제점은 결과의 각 요소가 두 개의 벡터의 상호 작용에 의존하며 둘 다 0이 아닌 요소를 적어도 포함 할 가능성이 있다는 것입니다. 따라서 숫자를 계산하려면 결과의 모든 요소에 대해 한 쌍의 벡터에 대한 논리 연산을 평가해야합니다. 이것의 문제점은 매트릭스 제품 자체를 계산하는 데 필요한 작업 수와 유사한 많은 작업이 필요하다는 것입니다. 내 의견으로는 원래 행렬의 0이 아닌 요소에서 특정 구조를 악용 할 가능성을 언급했지만 동일한 악용을 사용하여 행렬 곱셈에서 수행되는 작업을 줄일 수도 있습니다.

위의 용지를 사용하여 메모리 요구 사항을 과대 평가하고, 곱셈을 수행 한 다음 할당 된 메모리를 자르거나, 결과 행렬을보다 적절한 크기의 배열로 옮기는 것이 좋습니다. 또한 희소 행렬 제품은 드문 일이 아니며이 문제가 이전에 해결되었음을 거의 보증합니다. 일부 오픈 소스, 희소 행렬 라이브러리에 약간의 파고 들어가면 메모리를 미리 할당하는 데 사용하는 알고리즘으로 연결됩니다.


0

CSR 또는 CSC의 경우 행렬 요소 배열에 이미 0이 없음을 보장합니까? 이 경우 다음과 비슷한 것을 사용하여 0이 아닌 요소가 몇 개인 지 알아내는 것이 간단합니다.

int nnz = sizeof(My_Array)/sizeof(long int);

그러나 이것이 사실이 아닌 경우 (조금 쉬운 것으로 보인다) 시도 할 수있는 것은 축소 입니다. 행렬 요소의 배열이 매우 큰 경우 이는 0이 아닌 요소 수를 계산하는 가장 효율적인 방법 일 수 있습니다. Thrust (CUDA 라이브러리) 또는 OpenCL (GPU가 필요하지 않음)과 같은 많은 병렬 C / C ++ 라이브러리는 조건부 축소를 지원합니다. 각 요소에 대해 결과를 추가하십시오 Condition(Element). 조건을 Element != 0로 설정하면 0이 아닌 요소의 수를 더합니다. 요소 배열, 행 / 열 인덱스 배열에서 값이 0 인 요소를 제거하고 열 / 행 포인터를 조정할 수도 있습니다.


답장을 보내 주셔서 감사합니다 ...하지만 A와 B가 희소 행렬 인 A * B에서 0이 아닌 0을 언급하고있었습니다. 결과 행렬을 저장하기 위해 정확한 양의 메모리를 할당 할 수 있도록 0이 아닌 숫자가 미리 필요합니다.
Recker

0

CSR을 구현하는 가장 간단한 방법은

std::vector< std::map<int, complex<float>> > 

매트릭스를 나타냅니다. 이 경우 실제로는 0이 아닌 요소의 수에 대해 걱정하지 않아도됩니다.

std::map< int, complex<float> >::iterator

각 줄에. 베스트 ..


2
STL, 희소 행렬 루틴을 느리게 만들 수 없다고 생각했을 때.
Jed Brown
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.