그라데이션 하강 및 켤레 그라데이션 하강

프로젝트의 경우이 두 가지 방법을 구현하고 서로 다른 기능에서 어떻게 수행되는지 비교해야합니다.

등이 보이는 공액 구배 법을 위한의 연립 일차 방정식을 해결하는 것을 의미

$$A\mathbf{x} = \mathbf{b}$$

여기서 $A$ 는 대칭, 양의 정한 및 실수 인 nxn 행렬입니다.

I 대해 읽으면 한편, 그라디언트 강하 I는 예를 참조 로젠 브록 함수 이며

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

내가 알다시피, 나는 켤레 그라디언트 방법으로는 이것을 해결할 수 없습니다. 아니면 내가 뭔가를 그리워합니까?

그라데이션 하강 및 켤레 그라데이션 방법은 비선형 함수, 즉 Rosenbrock 함수와 같은 함수를 최소화하기위한 알고리즘입니다.

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

또는 다변량 이차 함수 (이 경우 대칭 이차 항)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

$x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

두 방법 모두 초기 추측 에서 시작한 다음 양식의 함수를 사용하여 다음 반복을 계산합니다.$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

즉, 현재 위치 에서 시작하여 거리 에 대해 검색 방향 으로 이동하여 의 다음 값을 찾습니다 . 두 방법 모두 이동 거리는 줄 검색으로 찾을 수 있습니다 보다 ). 다른 기준이 적용될 수도 있습니다. 두 방법이 다른 곳은 선택입니다 . 그래디언트 방법의 경우 입니다. 켤레 그라디언트 방법의 경우 Grahm-Schmidt 절차를 사용하여 그라디언트 벡터를 직교 화합니다. 특히 이지만 은 같습니다.$x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ - 과 같이 에 대한 벡터 투영을 뺀 값입니다 . 각각의 후속 그라디언트 벡터는 이전의 모든 그라디언트 벡터에 대해 직교되어 위의 2 차 함수에 대해 매우 좋은 특성을 갖습니다.$d^0$$(d^1)^Td^0 = 0$

해결 논의 여기서 이차 함수 (및 관련 제제) 위에이기도 공액 구배 법을 이용하여 해당 최소 이후에서 유래 점에서 달성된다 .$Ax = b$$f(x)$$x$$Ax = b$

이와 관련하여 두 방법 모두 함수의 최소화 문제로 생각할 수 있습니다. 때 대칭 후 최소화 될 때 .

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

그라디언트 디센트는 그라디언트 방향을 보면서 최소화기를 반복적으로 검색하는 방법입니다. 켤레 그라디언트는 비슷하지만 검색 방향은 이라는 의미에서 서로 직교해야합니다 .$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$