인공 신경망 ANN을 어떻게 감독되지 않은 클러스터링에 사용할 수 있습니까?


52

나는 artificial neural network (ANN)예측에서 오류를 줄임으로써 피팅을 개선하기 위해 역 전파를 사용하여 감독 방식으로 훈련 될 수있는 방법을 이해합니다 . 나는 ANN이 비지도 학습에 사용될 수 있다고 들었지만 최적화 단계를 안내하기 위해 일종의 비용 함수없이 어떻게 할 수 있습니까? k- 평균 또는 EM 알고리즘에는 각 반복이 증가하도록 검색하는 기능이 있습니다.

  • ANN을 사용하여 클러스터링을 수행하는 방법과 동일한 지역에서 데이터 포인트를 그룹화하기 위해 어떤 메커니즘을 사용합니까?

(그리고 더 많은 레이어를 추가함으로써 어떤 추가 기능이 제공됩니까?)


NN 비지도 학습, 일반적으로 신경망을 이용한 비지도 클러스터링에 관심이 있습니까?
Denis Tarasov

@DenisTarasov, 나는 주로 NN의 감독되지 않은 클러스터링에 관심이 있지만 일반적으로 NN의 감독되지 않은 NN 학습에 대해서는 많이 알지 못합니다. 답변이 특정 응용 프로그램을 논의하기 전에 일반적으로 약간의 NN 비지도 학습을 포함한다면 좋을 것입니다.
Vass

1
자체 구성 맵 (SOM)은 클러스터링에 사용되는 네트워크 유형입니다.
Cagdas Ozgenc

ANN의 비지도 학습 – 훈련 세트에서 통계적 속성을 추출합니다. – 비지도 학습은 더 어렵지만 생물학적으로 그럴듯한 것으로 보입니다.
yonas

답변:


56

신경망은 입력 데이터의 더 나은 표현을 배우기 위해 비지도 학습에 널리 사용됩니다. 예를 들어, 일련의 텍스트 문서가 제공되면 NN은 문서와 실제 값 벡터 간의 매핑을 학습 할 수 있습니다. 즉, 결과 보존 벡터는 내용이 비슷한 문서 (예 : 거리 보존)와 유사합니다. 이는 예를 들어 자동 인코더-비용 함수로서 재구성 오류 (ID 기능으로부터의 거리)를 갖는 더 작은 표현 (숨겨진 계층 활성화)으로부터 원래 벡터를 재구성하도록 훈련 된 모델을 사용하여 달성 될 수있다. 이 프로세스는 클러스터를 제공하지 않지만 클러스터링에 사용할 수있는 의미있는 표현을 만듭니다. 예를 들어 숨겨진 계층의 활성화에서 클러스터링 알고리즘을 실행할 수 있습니다.

클러스터링 : 클러스터링을 위해 특별히 설계된 여러 가지 NN 아키텍처가 있습니다. 가장 널리 알려진 것은 아마도 자기 조직지도 일 것입니다. SOM은 위상 그리드 (일반적으로 직사각형)를 형성하기 위해 연결된 뉴런 세트가있는 NN입니다. 일부 패턴이 SOM에 제시 될 때, 가장 가까운 가중치 벡터를 가진 뉴런이 승자로 간주되고 그 가중치는 패턴뿐만 아니라 이웃의 가중치에 맞게 조정됩니다. 이러한 방식으로 SOM은 자연스럽게 데이터 클러스터를 찾습니다. 다소 관련된 알고리즘이 신경 가스를 증가시키고 있습니다 (미리 정의 된 수의 뉴런으로 제한되지 않음).

또 다른 접근법은 "비교 필드"와 "인식 필드"라는 두 개의 계층이있는 적응 공명 이론입니다. 인식 필드는 또한 비교 필드에서 전송 된 벡터에 대한 최상의 일치 (뉴런)를 결정하며 측면 억제 연결도 있습니다. 이 모델의 이름을 인터넷으로 검색하면 구현 세부 사항과 정확한 방정식을 쉽게 찾을 수 있으므로 여기에 두지 않겠습니다.


15

자체 구성 맵 을 보려고 합니다 . 코호 넨 (그들이 발명 한) 은 그들에 관한 책을 썼습니다 . 이 패키지에는 R ( som , kohonen )이 있으며 MATLAB 과 같은 다른 언어로 구현되어 있습니다 .


NN이 어떻게이를 수행하고 이론을 구체화 할 수 있는지에 대해 자세히 설명 할 수 있습니까? 깊은 NN (DNN) 사용의 효과에 대해서도 설명 할 수 있습니까?
Vass

1
@Vass의 전문 지식이 거의 없습니다. 추가 레이어를 추가하면 속도를 늦추는 것 외에 많은 일을 할 것이라고 생각하지 않습니다. 다른 누군가가 당신에게 이론을 제시해야 할 것입니다. 나는 당신을 시작하고 싶었습니다.
gung-복직 모니카

1
랩의 학생은 SOM을 사용한 클러스터링을 실험했습니다. 실행하는 데 시간이 오래 걸리고 다른 접근법 (우리의 경우 표준 그래프 클러스터링 알고리즘)에 비해 결과가 매우 실망했습니다. 저는 표준 2D 대상 도메인 (토폴로지 그리드)이 매우 임의적 인 공간 인 것 같습니다. 더 걱정되는 것은 매우 간단하며 본질적으로 데이터를 단지 두 변수로 설명되는 공간으로 압축해야합니다.
micans

@micans는 몇 가지 좋은 점을 제시하지만 각 노드는 프로토 타입과 연결되기 때문에 데이터는 단지 두 개의 변수로 설명되는 공간으로 압축되지 않습니다. 또한 실행 속도가 느리면 구현 문제 일 수 있습니다. 통계적으로 SOM 이외의 다른 방법은 더 나은 분류 결과를 달성해야합니다. 토폴로지 문제와 관련하여 두뇌는 2D 토폴로지의 계층으로 구성되어있는 것처럼 보이지만 훌륭한 결과를 얻습니다 (또는 생각하고 싶습니다).
Tom Anderson
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.