가능성이없는 추론-무슨 뜻입니까?

최근에 나는 문헌에서 '무우 행 (freelihood-free)'방법이 사용되는 것을 알고있다. 그러나 나는 그것이 될 추론 또는 최적화 방법에 대해 무엇을 의미하는지에 취소하고 있지 않다 가능성이없는 .

기계 학습에서 목표는 보통 신경망의 가중치와 같은 기능에 맞는 일부 매개 변수의 가능성을 최대화하는 것입니다.

그렇다면 가능성이없는 접근법 의 철학은 정확히 무엇이며 GAN과 같은 적대적인 네트워크가이 범주에 속하는 이유는 무엇입니까?

통계의 가능성을 기반으로하지 않는 방법의 예가 많이 있습니다 (머신 러닝에 대해서는 모르겠습니다). 몇 가지 예 :

1. Fisher의 순수한 유의성 테스트 . 명확하게 정의 된 귀무 가설 (예 : Lady Tasting Tea 실험에서 우유와 우유의 마지막 차이가 없음)을 기반으로합니다 .이 가정은 귀무 가설 분포와 p- 값으로 이어집니다. 그 자체로는 전력 분석 (공식적으로 정의 된 대안 없음) 또는 신뢰 구간 (공식적으로 정의 된 매개 변수 없음)의 기초를 제공 할 수 없습니다.

2. 1과 관련이 있습니다. 무작위 배정 테스트 무작위 배정 테스트와 순열 테스트의 차이점은 가장 기본적인 형태로 순수한 유의성 테스트입니다.

3. 부트 스트랩은 우도 함수가 필요하지 않고 수행됩니다. 그러나 가능성 아이디어, 예를 들어 경험적 가능성과 관련이 있습니다.

4. 순위 기반 방법은 일반적으로 가능성을 사용하지 않습니다.

5. 많은 강력한 통계.

6. 중앙값 (또는 다른 Quantile)에 대한 신뢰 구간은 주문 통계를 기반으로 할 수 있습니다. 계산에는 관련이 없습니다. 중간 대한 신뢰 구간 , 경험적 중간의 분산하기위한 최선 추정기

7. V Vapnik은 Black Swan Taleb과 Black Swan 에서 논의 된 것처럼 https://en.wikipedia.org/wiki/Epilogism 과 관련된 것으로 보이는 형질 도입 학습에 대한 아이디어를 가지고있었습니다 .

8. 책 데이터 분석 및 근사 모형에서 Laurie Davis는 근사치, 신뢰 구간이 근사 구간으로 대체되고 모수 분포 군이 없으며 만 등. 그리고 가능성은 없습니다.$\text{N}(\mu, \sigma^2)$$\text{N}(9.37, 2.12^2)$

가능성 기능을 사용하는 순간에는 거대한 기계를 만들 수 있습니다. 베이지안은 없이는 할 수 없으며 대부분의 사람들은 대부분 가능성을 사용합니다. 그러나 베이지안조차도하지 않고하려고한다는 의견에서 지적됩니다 ( Approximate_Bayesian_computation 참조) . 해당 주제에 대한 새로운 텍스트 도 있습니다 .

그러나 그들은 어디에서 왔습니까? 일반적인 방식으로 우도 함수를 얻으려면 정당화하기 어려운 많은 가정이 필요합니다.

이 우연이없는 방법들 중 어떤 방식으로 우도 함수를 구성 할 수 있는지 묻는 것이 흥미 롭습니다. 예를 들어, 위의 포인트 6. 주문 통계로부터 계산 된 신뢰 구간의 중간 값에 대한 우도 함수를 구성 할 수 있습니까? 나는 그것을 별도의 질문으로 요구해야합니다 ...

GAN에 대한 마지막 질문은 다른 사람들을 위해 떠나야합니다.

구체적으로, [최근의] 가능성이없는 방법은 ABC 알고리즘을 다시 말한 것으로 ABC는 대략 베이지안 계산을 나타냅니다 . 폐쇄 형 우도 함수를 사용할 필요는 없지만 특정 통계 모델을 연구하려는 추론 방법을 다룰 예정입니다. 그것들은 가능성에 첨부 된 계산상의 어려움은 없지만이 가능성을 생성하는 모델에는 없습니다. 예를 들어보십시오

1. 그 라우로드, A; 마린, JM; 로버트, C; 로돌프, F; 탈리, F (2009). "Gibbs 랜덤 필드에서 모델 선택을위한 무 자유 방법". 베이지안 분석. 3 : 427-442 .
2. 라트 만, O; 안드리 우, C; 위프, C; 리차드슨, S (2009). "단백질 네트워크 진화에 적용 할 가능성이없는 유추에 기초한 모델 비판". 미국 국립 과학 아카데미의 절차. 106 : 10576–10581 .
3. Bazin, E., Dawson, KJ, & Beaumont, MA (2010). 베이지안 계층 적 모델에서 모집단 구조 및 지역 적응의 가능성이없는 유추. 유전학, 185 (2), 587-602 .
4. 디들 롯, X; RG 에버릿; 요한센, AM; Lawson, DJ (2011). "모형 증거의 무 자유 추정". 베이지안 분석. 6 : 49-76 .
5. Gutmann, M. and Corander, J. (2016) 시뮬레이터 기반 통계 모델의 가능성이없는 유추를위한 베이지안 최적화 Journal of Machine Learning Research .

많은 답변을 추가하기 위해 점근 통계는 실제로 가능성이 없습니다.

여기서 "우도"는 데이터 의 확률 모델을 나타냅니다 . 나는 그것에 대해 신경 쓰지 않을 수 있습니다. 그러나 평균과 같은 간단한 추정기가 데이터의 적절한 요약이며 분포의 평균에 대한 추론을 수행하려고합니다 (존재하는 경우 가정).

중심 한계 정리에 의해 평균은 분산이 존재하는 경우 큰 N의 근사 정규 분포를 갖습니다. 올바른 크기의 일관된 테스트 (null이 false 일 때 N이 무한대로 갈 때 전력이 1이 됨)를 만들 수 있습니다. 유한 표본 크기의 평균 샘플링 분포에 대한 확률 모델 (즉, 거짓)이 있지만 "유용한 데이터 요약"(평균)을 향상시키기 위해 유효한 추론 및 바이어스되지 않은 추정을 얻을 수 있습니다.

(@ kjetilbhalvorsen의 대답에 즉, 옵션 6) 평균에 대한 95 % CI에 따라 검사가 주목해야한다 또한 그들은 일관성을 보여 중심 극한 정리에 의존하고 있습니다. 따라서 간단한 T- 검정을 "비모수 적"또는 "비우도 기반"검정으로 간주하는 것은 그리 놀라운 일이 아닙니다.

기계 학습 측면에서 : 기계 학습에서는 일반적으로 를 최대화하려고합니다 . 여기서 는 대상이고 는 입력입니다 (예 : x는 임의 노이즈 일 수 있으며 y는 이미지 임) ). 자, 우리는 이것을 어떻게 최적화합니까? 이를 수행하는 일반적인 방법은 입니다. 이것을 가정하면 평균 제곱 오차가 발생합니다. 참고, 우리는 가정 을위한 형태로 . 그러나 특정 분포를 가정하지 않으면 우회 학습이라고합니다.$p(y|x)$$x$$y$$p(y|x) = N(y|\mu(x), \sigma)$$p(y|x)$

GAN이 왜 이에 해당합니까? Loss 함수는 신경망이며이 신경망은 고정되어 있지 않고 함께 학습됩니다. 따라서, 우리는 더 이상 어떤 형태도 가정하지 않습니다 ( 가 분포에 속한다는 것을 제외하고 는 판별 자에 의해 표현 될 수 있지만 이론 상으로는 어쨌든 보편적 인 함수 근사치입니다).$p(y|x)$