신경망의 비용 함수는 볼록하지 않습니까?

신경망 의 비용 함수 는 $J(W,b)$ 이며 볼록하지 않은 것으로 주장됩니다 . 로지스틱 회귀의 비용 함수와 매우 유사하다는 것을 알기 때문에 왜 그런 식인지 이해가되지 않습니다.

볼록하지 않은 경우 2 차 미분 $\frac{\partial J}{\partial W} < 0$, 맞습니까?

최신 정보

@gung의 의견뿐만 아니라 아래의 답변 덕분에 숨겨진 층이 전혀 없다면 로지스틱 회귀와 같이 볼록한 점이 있습니다. 그러나 숨겨진 계층이있는 경우 숨겨진 계층의 노드와 후속 연결의 가중치를 변경하여 가중치에 대한 여러 솔루션을 사용하여 동일한 손실을 초래할 수 있습니다.

더 많은 질문이 있습니다.

1) 여러 지역 최소값이 있으며 일부 노드와 가중치 순열에 해당하기 때문에 일부 값이 동일해야합니다.

2) 노드와 가중치가 전혀 변경되지 않으면 볼록합니까? 그리고 최소값은 글로벌 최소값이됩니다. 그렇다면 1)에 대한 답은 모든 지역 최소값이 동일한 값일 것입니다. 맞습니까?

신경망의 비용 함수는 일반적으로 볼록하거나 오목하지 않습니다. 이것은 모든 두 번째 부분 도함수 (헤 시안)의 행렬이 양의 반정 도나 음의 반 정도가 아님을 의미합니다. 이차 미분은 행렬이므로, 둘 중 어느 것도 아닐 수 있습니다.

$x^2$$-x^2$$\sin(x)$$\mathbb{R}$$\pm x^2$$\sin$

$J(W,b)$

$J$

숨겨진 레이어에서 뉴런을 퍼 뮤트하고 인접한 레이어의 가중치에 대해 동일한 순열을 수행하면 손실은 변하지 않습니다. 따라서 가중치의 함수로 0이 아닌 전역 최소값이 있으면 가중치의 순열이 다른 최소값을 제공하므로 고유 할 수 없습니다. 따라서 기능은 볼록하지 않습니다.

목적 함수가 볼록한지 여부는 네트워크의 세부 사항에 따라 다릅니다. 여러 개의 로컬 최소값이 존재하는 경우 모두 동일한 지 여부를 묻습니다. 일반적으로 대답은 '아니오'이지만, 일반화 성능이 좋은 로컬 최소값을 찾을 가능성은 네트워크 크기에 따라 증가하는 것으로 보입니다.

이 논문은 흥미 롭다 :

Choromanska et al. (2015). 멀티 레이어 네트워크의 손실 표면

http://arxiv.org/pdf/1412.0233v3.pdf

소개에서 :

• 대규모 네트워크의 경우 대부분의 로컬 최소값은 동일하며 테스트 세트에서 유사한 성능을 제공합니다.

• 소규모 네트워크의 경우 "나쁜"(높은 값) 로컬 최소값을 찾을 확률은 0이 아니며 네트워크 크기에 따라 빠르게 줄어 듭니다.

• 훈련 세트에서 전체 최소값을 찾는 데 어려움을 겪는 것은 (많은 좋은 현지 훈련 중 하나와 달리) 실제로 유용하지 않으며 과적 합으로 이어질 수 있습니다.

또한 대규모 네트워크를 훈련 할 때 새들 포인트가 로컬 최소보다 큰 문제를 설명하는 논문을 인용했습니다.

업데이트에 대한 답변 :

1. 예, 일반적으로 여러 지역 최소값이 있습니다. (단 하나만 있으면 전역 최소값이라고합니다.) 지역 최소값이 반드시 같은 값일 필요는 없습니다. 일반적으로 동일한 값을 공유하는 로컬 최소값이 없을 수 있습니다.

2. 아니요, 단층 네트워크가 아니면 볼록하지 않습니다. 일반적인 다중 계층의 경우, 이후 계층의 매개 변수 (가중치 및 활성화 매개 변수)는 이전 계층의 매개 변수의 재귀 함수일 수 있습니다. 일반적으로, 일부 재귀 적 구조에 의해 도입 된 결정 변수의 곱셈은 볼록성을 파괴하는 경향이있다. 이것의 또 다른 좋은 예는 시계열 분석에서 MA (q) 모델입니다.

$y$$X$$\|y - X\beta\|$

문제가 볼록 또는 쿼시 콘벡 인 경우 하나의 전역 최소값을 갖습니다.

신경망 구축 중 볼록한 "빌딩 블록"정보 (Computer Science 버전)

나는 언급 할 수있는 몇 가지가 있다고 생각합니다.

1. 최대 (0, x)-볼록하고 증가

2. log-sum-exp-각 매개 변수에서 볼록하고 증가

3. y = Ax는 가늘고 (A)에서 볼록하므로 증가 할 수도 있습니다. y = Ax는 가늘고 (x)로 볼록하며, 아마도 증가 할 수도 있습니다.

불행히도 (A, x)에서는 볼록하지 않습니다. 왜냐하면 이차 형태는 무기한입니다.

4. 일반적인 수학 이산 컨벌루션 ( "일반적인"으로 반복 신호로 정의 됨) Y = h * X h 또는 변수 X의 아핀 함수 인 것으로 보입니다. 따라서 변수 h 또는 변수 X에서 볼록합니다. 두 변수에 대해- h와 X가 스칼라 일 때 회선은 무한 2 차 형태로 줄어들 기 때문에 그렇게 생각하지 않습니다.

5. max (f, g)-f와 g가 볼록하면 max (f, g)도 볼록합니다.

하나의 함수를 다른 함수로 대체하고 컴포지션을 만들면 y = h (g (x), q (x))에 대한 볼록 공간에 있지만 h는 볼록해야하며 각 인수에서 증가하지 않아야합니다. ...

볼록하지 않은 신경 netwoks 왜 :

1. 컨볼 루션 Y = h * X는 h에서 꼭 필요한 것은 아닙니다. 따라서 커널에 대한 추가 가정을 사용하지 않으면 컨볼 루션을 적용한 직후 볼록 최적화에서 벗어날 수 있습니다. 따라서 작곡에 대한 모든 훌륭한 것은 없습니다 .

2. 또한 위에서 언급 한 것처럼 커플 매개 변수 를 고려하면 컨벌루션과 행렬 곱셈은 볼록하지 않습니다 . 따라서 행렬 곱셈에는 문제가 있습니다. 매개 변수 (A, x)에서 볼록하지 않은 연산입니다.

3. y = Ax는 (A, x)에서 quasiconvex 일 수 있지만 추가 가정도 고려해야합니다.

동의하지 않거나 추가로 고려해야 할 사항이 있으면 알려주십시오. 그 질문은 나에게도 매우 흥미 롭습니다.

ps max-pooling-max를 선택하여 다운 샘플링하는 것은 필요한 블록을 풀기 위해 affine precomposition을 사용하여 elementwise max 작업을 수정 한 것처럼 보이며 볼록하게 보입니다.

다른 질문에 대해

1. 로지스틱 회귀는 볼록하거나 오목하지 않지만 로그 오목입니다. 이것은 대수를 적용한 후에 설명 변수에서 오목한 기능을한다는 것을 의미합니다. 따라서 최대 로그 가능성 트릭이 좋습니다.

2. 글로벌 최소값이 하나만없는 경우 지역 최소값 간의 관계에 대해서는 말할 수 없습니다. 또는 볼록 최적화를 사용할 수 없으며 확장 기능이 있습니다. 수학의이 영역은 글로벌 과소 평가를 기반으로하기 때문입니다.

아마도 당신은 이것에 대해 혼란 스러울 것입니다. 실제로 그러한 스키마를 만드는 사람들은 "무언가"를하고 "무언가"를 받기 때문입니다. 불행하게도 볼록하지 않은 최적화 (일반적으로)를 다루는 완벽한 메커니즘이 없기 때문입니다.

그러나 신경망 옆에 더욱 간단한 일이있다 - 같이 해결할 수없는 비는 선형 최소 제곱 - https://youtu.be/l1X4tOoIHYo?t=2992 (EE263, L8, 50:10)