반 감독 학습에서 다양한 가정은 무엇입니까?

나는 반지도 학습에서 매니 폴드 가정이 무엇을 의미하는지 알아 내려고 노력하고 있습니다. 누구나 간단한 방법으로 설명 할 수 있습니까? 나는 그 뒤에 직관을 얻을 수 없습니다.

그것은 당신의 데이터가 고차원 공간에 내장 된 저 차원 매니 폴드에 있다고 말합니다. 나는 그것이 의미하는 것을 얻지 못했습니다.

테이블 위에 수평으로 놓여있는 유리 접시에 씨앗이 많이 묶여 있다고 상상해보십시오. 우리가 일반적으로 공간에 대해 생각하는 방식으로 인해,이 씨앗들은 2 차원 공간에 다소간에 살고 있다고 말하는 것이 안전 할 것입니다. 왜냐하면 각 씨앗은 씨앗의 좌표를 유리.

이제 접시를 가져 와서 대각선으로 위쪽으로 기울여서 유리의 표면이 더 이상지면과 수평이되지 않도록 상상해보십시오. 이제 씨앗 중 하나를 찾으려면 몇 가지 옵션이 있습니다. 유리를 무시하기로 결정하면 각 씨앗이 테이블 위의 3 차원 공간에 떠있는 것처럼 보이므로 공간 방향마다 하나씩 3 개의 숫자를 사용하여 각 씨앗의 위치를 ​​설명해야합니다. 그러나 유리를 기울임으로써 씨앗이 여전히 2 차원 표면에 존재한다는 사실을 바꾸지 않았습니다. 따라서 유리 표면이 3 차원 공간에 어떻게 놓여 있는지 설명한 다음 원래 2 차원을 사용하여 유리에서 씨앗의 위치를 ​​설명 할 수 있습니다.

이 생각 실험에서, 유리 표면은 고차원 공간에 존재하는 저 차원 매니 폴드와 유사합니다. 플레이트를 3 차원으로 회전시키는 방법에 관계없이 씨앗은 여전히 ​​2 차원 평면의 표면을 따라 산다.

예

보다 일반적으로, 고차원 공간에 내장 된 저 차원 매니 폴드는 어떤 이유로 든 동일한 세트의 일부 또는 연결된 것으로 간주되는 점들의 집합 일뿐입니다. 특히, 매니 폴드는 다소 높은 차원의 공간 (예를 들어, 유리의 표면이 판 모양 대신 보울 모양으로 뒤틀림)에서 뒤 틀릴 수 있지만, 매니 폴드는 여전히 기본적으로 저 차원이다. 특히 고차원 공간에서이 매니 폴드는 다양한 형태와 모양을 취할 수 있지만 3 차원 세계에 살고 있기 때문에 3 차원 이상의 사례를 상상하기는 어렵습니다. 그러나 샘플로 다음 예제를 고려하십시오.

• 물리적 공간 (3 차원)의 유리 조각 (평면, 2 차원)
• 직물의 한 실 (1 차원) (2 차원)
• 세탁기에 구겨진 직물 (2 차원) (3 차원)

머신 러닝에서 매니 폴드의 일반적인 예 (또는 최소한 저 차원 매니 폴드를 따라 살도록 가정 된 세트)는 다음과 같습니다.

• 자연 장면의 이미지 (일반적으로 화이트 노이즈의 이미지가 보이지 않습니다. 예를 들어 "자연"이미지는 가능한 픽셀 구성의 전체 공간을 차지하지 않습니다)
• 자연스러운 소리 (유사한 주장)
• 인간의 움직임 (인체에는 수백 개의 자유도가 있지만 움직임은 ~ 10 차원을 사용하여 효과적으로 표현할 수있는 공간에 사는 것처럼 보입니다)

매니 폴드 학습

머신 러닝의 다양한 가정은 세계의 데이터가 가능한 공간의 모든 부분 (예 : 백색 노이즈를 포함하여 가능한 모든 1 메가 픽셀 이미지의 공간)에서 나올 수 있다고 가정하는 것이 아니라 가정하는 것이 더 합리적이라고 가정합니다. 훈련 데이터는 상대적으로 낮은 차원의 매니 폴드 (시드가있는 유리판과 같은)에서 나옵니다. 그런 다음 매니 폴드의 구조를 배우는 것이 중요한 작업이됩니다. 또한이 학습 과제는 분류 된 훈련 데이터를 사용하지 않고도 가능해 보입니다.

저 차원 매니 폴드의 구조를 학습하는 방법에는 여러 가지가 있습니다. 가장 널리 사용되는 방법 중 하나는 PCA이며, 매니 폴드는 고차원 공간에 내장 된 팬케이크 또는 시가 모양과 같은 단일 타원 "블롭"으로 구성되어 있다고 가정합니다. 아이소 맵, ICA 또는 희소 코딩과 같은보다 복잡한 기술은 이러한 가정 중 일부를 다양한 방식으로 완화합니다.

반 감독 학습

반 감독 학습에서 매니 폴드 가정이 중요한 이유는 두 가지입니다. 많은 실제 작업 (예 : 이미지의 픽셀이 4 또는 5를 표시하는지 확인)의 경우 레이블이있는 것보다 레이블이없는 (예 : 숫자가있는 이미지) 세계에서 더 많은 데이터가 사용 가능합니다 (예 : "4"또는 "5"로 명시 적으로 표시된 이미지). 또한, 레이블이있는 이미지의 레이블에있는 것보다 이미지의 픽셀에 사용 가능한 정보가 훨씬 더 많습니다. 그러나 위에서 설명한 것처럼 자연 이미지는 실제로 픽셀 구성에 대한 균일 한 분포에서 샘플링되지 않으므로 자연 이미지의 구조를 캡처하는 매니 폴드가있을 수 있습니다.매니 폴드는 5가 포함 된 이미지가 서로 다르지만 인근 매니 폴드에 있지만 픽셀 데이터 만 사용하여 이러한 매니 폴드 각각에 대한 표현을 개발하려고 시도 할 수 있습니다. 그런 다음 나중에 몇 비트의 레이블 데이터를 사용할 수있을 때 해당 비트를 사용하여 이미 식별 된 매니 폴드에 레이블을 간단히 적용 할 수 있습니다.

이 설명의 대부분은 심층 및 기능 학습 문학 작품에서 비롯됩니다. Yoshua Bengio 와 Yann LeCun은 에너지 기반 학습 튜토리얼 이이 분야에서 특히 접근하기 쉬운 주장을 봅니다.

먼저 임베딩이 무엇인지 이해해야합니다. 수학 에서 빌린 것 입니다. 대략적으로 말하면 데이터의 일부 구조 또는 속성을 유지하면서 데이터를 다른 공간 (종종 임베드 공간 또는 피처 공간 이라고 함)에 매핑 합니다. 치수는 입력 공간보다 크거나 작을 수 있습니다. 실제로, 매핑은 복잡하고 비선형 적입니다. 몇 가지 예 :

• word2vec 와 같은 단어를 나타내는 실제 값의 "워드 벡터"
• FC7 레이어 AlexNet (FC7은 7 번째로 완벽하게 구성된 레이어)과 같은 convnet 레이어의 활성화

설명을 위해 Josh Tenenbaum 의이 논문 을 예로 들어 보겠습니다 .

그림 1은 시각적 인식의 예에서 특징 발견 문제를 보여줍니다. 가능한 모든 관점에서 얼굴의 뷰 세트는 컴퓨터 나 망막에서 이미지 배열로 표현 될 때 매우 높은 차원의 데이터 세트입니다. 예를 들어, 32 x 32 픽셀 그레이 스케일 이미지는 1,024 차원 관찰 공간 [입력 공간] 에서 포인트로 생각할 수 있습니다 . 그러나 이러한 이미지들 [기능 공간] 의 지각 적으로 의미있는 구조는 차원이 훨씬 낮습니다. 도 1의 모든 이미지는 시야각에 의해 파라미터 화 된 2 차원 매니 폴드 상에 놓인다

그런 다음 Josh Tenenbaum은 입력에서 기능 공간으로의 이러한 매핑 학습의 어려움에 대해 설명합니다. 그러나 질문으로 돌아가 봅시다. 우리는 입력 공간과 기능 공간이 어떻게 관련되어 있는지에 관심이 있습니다.

• 는 32*32 array of grey pixel values입력 공간
• [x1=elevation, x2=azimuth]공간 (단순하지만,이 올바른 삽입 공간으로 생각 될 수있다), 특징 공간이다.

매니 폴드 가설을 다시 설명 ( 이 위대한 기사 에서 인용 ) :

매니 폴드 가설은 자연 데이터가 포함 공간에서 낮은 차원의 매니 폴드를 형성한다는 것입니다.

이 예제에서는 임베드 공간의 차원이 입력 공간보다 2 : 1024보다 작다는 것이 분명합니다 (이 구별은 더 높은 차원, 덜 단순한 임베딩 공간의 선택에도 적용됩니다).

임베딩이 다기관임을 확신하기 위해 Tenenbaum 용지 또는 Colah 기사 의 나머지 부분을 읽으십시오 .

참고 : 이것은 매니 폴드 가설이 의미하는 바에 대한 설명 일뿐, 왜 발생하는지에 대한 논쟁이 아닙니다 .

관련 : 단어 벡터 설명 , word2vec 용지