선형 방정식을 푸는 방법을 선택하는 방법

내가 아는 한, 선형 방정식 시스템을 해결하는 4 가지 방법이 있습니다 (더 많은 것이 있으면 수정하십시오).

1. 시스템 행렬이 전체 정사각형 행렬이면 Cramer 's Rule을 사용할 수 있습니다.
2. 시스템 매트릭스의 역 또는 의사 역을 계산합니다.
3. 매트릭스 분해 방법을 사용하십시오 (Gaussian 또는 Gauss-Jordan 제거는 LU 분해로 간주 됨).
4. 켤레 구배 방법과 같은 반복 방법을 사용하십시오.

실제로 Cramer의 규칙을 사용하거나 특히 고차원 행렬에 대해 역 또는 의사 역을 계산하여 방정식을 풀기를 원하지 않으므로 첫 번째 질문은 각각 분해 방법과 반복 방법을 사용할 때입니다. 시스템 매트릭스의 크기와 속성에 달려 있다고 생각합니다.

두 번째 질문은 수치 안정성과 효율성 측면에서 특정 시스템 매트릭스에 가장 적합한 분해 방법 또는 반복 방법이 무엇인지 아는 것입니다.

예를 들어, 켤레 구배 방법은 행렬이 대칭이고 양의 한정된 방정식을 풀기 위해 사용되지만 를 A T A x = A T b 로 변환하여 선형 방정식에도 적용 할 수 있습니다 . 또한 양의 한정 행렬의 경우 Cholesky 분해 방법을 사용하여 해를 구할 수 있습니다. 그러나 CG 방법을 선택할시기와 Cholesky 분해를 선택할시기를 모르겠습니다. 제 생각에는 큰 행렬에 CG 방법을 사용하는 것이 좋습니다.$\mathbf{A}x=b$$\mathbf{A}^{\rm T}\mathbf{A}x=\mathbf{A}^{\rm T}b$

직사각형 행렬의 경우 QR 분해 또는 SVD를 사용할 수 있지만 다시 하나를 선택하는 방법을 모르겠습니다.

다른 행렬의 경우 이제 허미 시안 / 대칭 행렬, 희소 행렬, 밴드 행렬 등과 같은 적절한 솔버를 선택하는 방법을 설명하지 않습니다.

귀하의 질문은 드라이브 (슬롯, 필립스, Torx 등)에 따라 선택할 드라이버를 묻는 것과 약간 같습니다. 너무 많은 것 외에도 선택은 하나의 나사를 조일 것인지 또는 조립할 것인지에 따라 다릅니다. 도서관 선반 전체 세트. 그럼에도 불구하고 귀하의 질문에 부분적으로 답변하면 선형 시스템 를 풀기위한 방법을 선택할 때 명심해야 할 몇 가지 문제가 있습니다 . 또한 나는 자신을 뒤집을 수없는 행렬로 제한 할 것이다. 과도하거나 불명확 한 시스템의 경우는 다른 문제이며 실제로는 별도의 질문이어야합니다.$Ax=b$

올바르게 언급했듯이 옵션 1과 2는 옳습니다. 역행렬 계산 및 적용은 다른 알고리즘 중 하나를 적용하는 것보다 훨씬 비싸고 종종 수치 적으로 안정적이지 않기 때문에 매우 나쁜 생각입니다. 직접 방법과 반복 방법 중에서 선택할 수 있습니다. 가장 먼저 고려해야 할 것은 행렬 가 아니라 수치 해로 부터 ~ x :$A$$\tilde x$

1. $\tilde x$$\tilde x$$\|\tilde x - x^*\| < 10^{-3}$$x^*$
2. 얼마나 빨리 필요합니까? 여기에만 관련 메트릭에 시계 시간입니다 귀하의 기계 - 당신이 그 중 하나가없는 경우 최선의 선택을하지 않을 수 거대한 클러스터에서 완벽하게 확장하는 방법,하지만 당신은 그 빛나는 새로운 테슬라 카드 중 하나를 수행합니다.

무료 점심 식사와 같은 것은 없기 때문에 일반적으로 둘 사이의 균형을 결정해야합니다. 그런 다음 매트릭스 (및 하드웨어)를 살펴보고 적절한 방법 (또는 구현 방법을 찾을 수있는 방법)을 결정합니다. (여기에 "최고"를 쓰지 않는 방법에 주목하십시오 ...) 가장 관련성이 높은 속성은 다음과 같습니다.$A$

• 구조 : IS 대칭? 밀도가 높거나 희박합니까? 줄무늬?$A$
• 고유은 : 그들은 (즉, 모든 긍정적 인 긍정적 확실한)? 그들은 클러스터되어 있습니까? 그들 중 일부는 매우 작거나 큰 규모를 가지고 있습니까?$A$

이를 염두에두고 (거대한) 문헌을 트롤링하고 특정 문제에 대해 찾은 다양한 방법을 평가해야합니다. 일반적인 설명은 다음과 같습니다.

• 솔루션에 기계 정밀도가 정말로 필요하거나 매트릭스가 작은 경우 (예 : 최대 행), 특히 밀도가 높은 시스템 (이 경우 모든 매트릭스 곱셈)에 대한 직접적인 방법을 이길 수 없습니다. 될 것입니다 당신은 반복을 많이해야하는 경우, 그리고이 힘은 멀리에서하지 직접적인 방법 필요). 또한 LU 분해 (피벗 포함)는 대부분의 반복 방법과 달리 모든 반전 가능한 매트릭스에서 작동합니다. (물론, 가 대칭이고 양수이면, Cholesky를 사용합니다.)$1000$$\mathcal{O}(n^2)$$\mathcal{O}(n^3)$$A$

  메모리 문제가 발생하지 않으면 (대형) 희소 행렬의 경우 에도 마찬가지입니다 . 일반적으로 희소 행렬에는 희소 LU 분해가 없으며, 요인이 (고속) 메모리에 맞지 않으면 이러한 방법을 사용할 수 없게됩니다.

  또한 직접 방법은 오랫동안 사용되어 왔으며 의 대역 구조를 자동으로 활용할 수있는 매우 우수한 소프트웨어 (예 : UMFPACK, MUMPS, 희소 행렬의 SuperLU)가 있습니다 .$A$

• 정확도가 낮거나 직접 방법을 사용할 수없는 경우 고정 방법 (예 : Jacobi 또는 Gauss-Seidel) 대신 Krylov 방법 (예 : 가 대칭 양수의 경우 CG , 그렇지 않은 경우 GMRES 또는 BiCGStab)을 선택하십시오. 수렴은 의 스펙트럼 반경이 아니라 조건 수의 (제곱근)에 의해 결정되며 행렬의 구조에 의존하지 않기 때문에 훨씬 잘 작동 합니다. 그러나 Krylov 방법으로 실제로 우수한 성능을 얻으려면 매트릭스에 적합한 전제 조건을 선택해야합니다. 이는 과학보다는 기술입니다.$A$$A$

• 동일한 행렬과 다른 오른쪽을 가진 선형 시스템을 반복적으로 해결해야하는 경우, 분해 방법을 한 번만 계산하면되기 때문에 직접 방법이 반복 방법보다 여전히 빠를 수 있습니다. (이는 순차적 인 해결책을 가정합니다. 동시에 모든 오른쪽이 있으면 블록 Krylov 방법을 사용할 수 있습니다.)

물론, 이것들은 매우 대략적인 지침입니다. 위의 진술에 대해, 대화가 참인 행렬이있을 가능성이 있습니다 ...

의견에 대한 참조를 요청 했으므로 여기에 몇 가지 교과서와 검토 논문이 있습니다. (이 둘 중 어느 것도 포괄적이지 않습니다.이 질문은 너무 광범위하며 특정 문제에 너무 많이 의존합니다.)

• Golub, van Loan : Matrix Computations (여전히 매트릭스 알고리즘에 대한 고전적인 참조. 훨씬 확장 된 제 4 판은 희소 행렬에 대해 논의하고 Fortran 대신 Matlab 코드와 광범위한 참고 문헌을 가지고 있음)
• Davis : Sparse Linear Systems에 대한 직접 방법 (희소 행렬의 분해 방법에 대한 유용한 소개)
• 더프 : 직접 분석법 (검토; 희소 행렬에 대한 최신 "멀티 프론트"직접 분석법에 대한 자세한 내용)
• 사드 : 스파 스 선형 시스템에 대한 반복적 인 방법 (이론과 - 낮은 정도 - 크릴 로프 방법의 실천, 사전 조정도 커버)

NAG 라이브러리 매뉴얼 의 관련 장의 섹션 4에있는 의사 결정 트리는 일부 질문에 대한 답변입니다.

Eigen Library Documentation에는 다양한 매트릭스 분해에 대한 많은 정보가 담긴 멋진 개요 페이지가 있습니다.

http://eigen.tuxfamily.org/dox/group__TopicLinearAlgebraDecompositions.html