머신 러닝에서 에너지 최소화 란 무엇입니까?

나는 컴퓨터 비전의 잘못된 문제에 대한 최적화에 대해 읽고 있었고 Wikipedia의 최적화에 대한 아래의 설명을 보았습니다. 내가 이해하지 못하는 것은 왜 Computer Vision 에서이 최적화를 " 에너지 최소화 "라고 부르는가?

최적화 문제는 다음과 같이 나타낼 수 있습니다.

을 감안할 때 : 함수 일부 세트에서 실제 숫자 $f: A \to R$ $A$

구함 : 원소 에서 되도록 모두를위한 의 ( "최소화") 또는 해당 모두를위한 의 ( " 최대화 "). $x_0$ $A$ $f(x_0) ≤ f(x)$ $x$ $A$ $f(x_0) ≥ f(x)$ $x$ $A$

이러한 공식을 최적화 문제 또는 수학적 프로그래밍 문제라고합니다 (컴퓨터 프로그래밍과 직접 관련이 없지만 선형 프로그래밍에서 여전히 사용되는 용어 – 아래 기록 참조). 이 일반적인 프레임 워크에서 많은 실제 및 이론적 문제가 모델링 될 수 있습니다. 물리 및 컴퓨터 비전 분야에서이 기법을 사용하여 공식화 된 문제는이 기법을 에너지 최소화로 지칭 할 수 있으며, 모델링되는 시스템의 에너지를 나타내는 함수 의 값을 말합니다. $f$

machine-learning optimization computer-vision

— iamprem
소스

답변:

에너지 기반 모델은 많은 머신 러닝 알고리즘을 나타내는 통합 프레임 워크입니다. 그들은 추론을 에너지 기능을 최소화하고 학습을 손실 기능을 최소화하는 것으로 해석합니다.

에너지 함수는 잠복 변수 구성과 예제에서 제공된 입력 구성의 함수입니다. 추론은 일반적으로 주어진 구성을 선택할 확률이 Gibbs 분포가되도록 낮은 에너지 구성을 찾거나 가능한 구성에서 샘플링을 의미합니다.

손실 기능은 많은 예제가 제공된 모델 매개 변수의 기능입니다. 예를 들어,지도 학습 문제에서 손실은 목표의 총 오차입니다. 모델을 구성하는 (매개 변수화 된) 함수의 함수이기 때문에 "기능"이라고도합니다.

주요 논문 :

Y. LeCun, S. Chopra, R. Hadsell, M. Ranzato 및 FJ Huang,“에너지 기반 학습에 대한 자습서”, MIT Press, 구조 데이터 예측, 2006.

참조 :

LeCun, Y., & FJ Huang (2005). 에너지 기반 모델의 판별 훈련을위한 손실 함수. 인공 지능 및 통계에 관한 제 10 회 국제 워크샵 진행 (AIStats'05). 에서 검색http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf

Ranzato, M., Boureau, Y.-L., Chopra, S., & LeCun, Y. (2007). 비지도 학습을위한 통합 에너지 기반 프레임 워크. Proc. AI와 통계에 관한 회의 (AI-Stats). http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07 에서 검색

— 닐 G
소스

"추론을 에너지 기능을 최소화하는 것으로 해석하고 학습을 손실 기능을 최소화하는 것으로 해석하는 것"이 무엇을 의미하는지 확장 할 수 있습니까? 에너지 기능은 손실 기능과 어떻게 다릅니 까?

— Cliff AB

당신의 답을 자세히

— 설명해 주시겠습니까?

@CliffAB 더 명확 해지기를 바랍니다.

— Neil G

@ NeilG : 솔직히 말해서, 나는 여전히 약간 혼란 스럽습니다. 나에게 그것은 "에너지 함수"가 통계에서 우도 함수와 본질적으로 같은 것처럼 들린다. 그것이 합리적인 해석입니까 아니면 더 미묘한 것을 놓치고 있습니까?

— Cliff AB

@CliffAB : 에너지 함수는 로그 가능성 일 수 있으며,이 경우 총 지수 에너지는 1입니다. 그러나 비 필수적 에너지 기반 모델은이 정규화에 대해 걱정하지 않으므로 확률 적 모델보다 효율적으로 학습 할 수 있습니다. 구성 공간에서 고가의 적분을 평가하지 않기 때문입니다.

— Neil G

신호 감지 문헌에서 신호의 에너지 $x_t$ 로 정의된다

이자형 = Σ {엑스}_{티}^{2}

$E = \Sigma x_t^2$

일부 특징들 x로부터 일부 반응 y를 예측할 때, 매우 일반적이고 간단한 진행 방법은 제곱 오차의 합을 최소화하는 것입니다

에스 에스 이자형 = Σ (와이 - \hat{와이})^{2}

$SSE= \Sigma (y-\hat{y})^2$ 어디

\hat{y}

$\hat{y}$ 적합 응답입니다. 유사성에 주목? SSE는 에너지입니다. 이 에너지는 장착 된 매개 변수에 의해 최소화됩니다.

— 스탠
소스

나는 당신이 에너지와 손실을 혼동하고 있다고 생각합니다

— Neil G

신호 처리 에서 에너지의 표준 정의를 사용하고 있습니다 . 컴퓨터 과학 / 기계 학습 사람들은 용어를 재정의하는 경향이 있습니다. 나는 통계와 신호 처리 배경에서 온다

— stan

첫 번째 공식은 에너지 함수입니다. 두 번째 공식은 구성의 기능이 아니기 때문에 손실 기능입니다.

— Neil G

@Neil 본인이 인용 한 논문에 정의 된대로 용어를 올바르게 사용하고 있다고 확신합니다. 내가 어디에 사용 해요 것과 단지 다른 용어의 SSE 에너지입니다

— 스탠