인공 신경망 ANN을 어떻게 감독되지 않은 클러스터링에 사용할 수 있습니까?


52

나는 artificial neural network (ANN)예측에서 오류를 줄임으로써 피팅을 개선하기 위해 역 전파를 사용하여 감독 방식으로 훈련 될 수있는 방법을 이해합니다 . 나는 ANN이 비지도 학습에 사용될 수 있다고 들었지만 최적화 단계를 안내하기 위해 일종의 비용 함수없이 어떻게 할 수 있습니까? k- 평균 또는 EM 알고리즘에는 각 반복이 증가하도록 검색하는 기능이 있습니다.

  • ANN을 사용하여 클러스터링을 수행하는 방법과 동일한 지역에서 데이터 포인트를 그룹화하기 위해 어떤 메커니즘을 사용합니까?

(그리고 더 많은 레이어를 추가함으로써 어떤 추가 기능이 제공됩니까?)


NN 비지도 학습, 일반적으로 신경망을 이용한 비지도 클러스터링에 관심이 있습니까?
— Denis Tarasov

@DenisTarasov, 나는 주로 NN의 감독되지 않은 클러스터링에 관심이 있지만 일반적으로 NN의 감독되지 않은 NN 학습에 대해서는 많이 알지 못합니다. 답변이 특정 응용 프로그램을 논의하기 전에 일반적으로 약간의 NN 비지도 학습을 포함한다면 좋을 것입니다.
— Vass

1
자체 구성 맵 (SOM)은 클러스터링에 사용되는 네트워크 유형입니다.
— Cagdas Ozgenc

ANN의 비지도 학습 – 훈련 세트에서 통계적 속성을 추출합니다. – 비지도 학습은 더 어렵지만 생물학적으로 그럴듯한 것으로 보입니다.
— yonas

답변:


56

신경망은 입력 데이터의 더 나은 표현을 배우기 위해 비지도 학습에 널리 사용됩니다. 예를 들어, 일련의 텍스트 문서가 제공되면 NN은 문서와 실제 값 벡터 간의 매핑을 학습 할 수 있습니다. 즉, 결과 보존 벡터는 내용이 비슷한 문서 (예 : 거리 보존)와 유사합니다. 이는 예를 들어 자동 인코더-비용 함수로서 재구성 오류 (ID 기능으로부터의 거리)를 갖는 더 작은 표현 (숨겨진 계층 활성화)으로부터 원래 벡터를 재구성하도록 훈련 된 모델을 사용하여 달성 될 수있다. 이 프로세스는 클러스터를 제공하지 않지만 클러스터링에 사용할 수있는 의미있는 표현을 만듭니다. 예를 들어 숨겨진 계층의 활성화에서 클러스터링 알고리즘을 실행할 수 있습니다.

클러스터링 : 클러스터링을 위해 특별히 설계된 여러 가지 NN 아키텍처가 있습니다. 가장 널리 알려진 것은 아마도 자기 조직지도 일 것입니다. SOM은 위상 그리드 (일반적으로 직사각형)를 형성하기 위해 연결된 뉴런 세트가있는 NN입니다. 일부 패턴이 SOM에 제시 될 때, 가장 가까운 가중치 벡터를 가진 뉴런이 승자로 간주되고 그 가중치는 패턴뿐만 아니라 이웃의 가중치에 맞게 조정됩니다. 이러한 방식으로 SOM은 자연스럽게 데이터 클러스터를 찾습니다. 다소 관련된 알고리즘이 신경 가스를 증가시키고 있습니다 (미리 정의 된 수의 뉴런으로 제한되지 않음).

또 다른 접근법은 "비교 필드"와 "인식 필드"라는 두 개의 계층이있는 적응 공명 이론입니다. 인식 필드는 또한 비교 필드에서 전송 된 벡터에 대한 최상의 일치 (뉴런)를 결정하며 측면 억제 연결도 있습니다. 이 모델의 이름을 인터넷으로 검색하면 구현 세부 사항과 정확한 방정식을 쉽게 찾을 수 있으므로 여기에 두지 않겠습니다.


15

자체 구성 맵 을 보려고 합니다 . 코호 넨 (그들이 발명 한) 은 그들에 관한 책을 썼습니다 . 이 패키지에는 R ( som , kohonen )이 있으며 MATLAB 과 같은 다른 언어로 구현되어 있습니다 .


NN이 어떻게이를 수행하고 이론을 구체화 할 수 있는지에 대해 자세히 설명 할 수 있습니까? 깊은 NN (DNN) 사용의 효과에 대해서도 설명 할 수 있습니까?
— Vass

1
@Vass의 전문 지식이 거의 없습니다. 추가 레이어를 추가하면 속도를 늦추는 것 외에 많은 일을 할 것이라고 생각하지 않습니다. 다른 누군가가 당신에게 이론을 제시해야 할 것입니다. 나는 당신을 시작하고 싶었습니다.
— gung-복직 모니카

1
랩의 학생은 SOM을 사용한 클러스터링을 실험했습니다. 실행하는 데 시간이 오래 걸리고 다른 접근법 (우리의 경우 표준 그래프 클러스터링 알고리즘)에 비해 결과가 매우 실망했습니다. 저는 표준 2D 대상 도메인 (토폴로지 그리드)이 매우 임의적 인 공간 인 것 같습니다. 더 걱정되는 것은 매우 간단하며 본질적으로 데이터를 단지 두 변수로 설명되는 공간으로 압축해야합니다.
— micans

@micans는 몇 가지 좋은 점을 제시하지만 각 노드는 프로토 타입과 연결되기 때문에 데이터는 단지 두 개의 변수로 설명되는 공간으로 압축되지 않습니다. 또한 실행 속도가 느리면 구현 문제 일 수 있습니다. 통계적으로 SOM 이외의 다른 방법은 더 나은 분류 결과를 달성해야합니다. 토폴로지 문제와 관련하여 두뇌는 2D 토폴로지의 계층으로 구성되어있는 것처럼 보이지만 훌륭한 결과를 얻습니다 (또는 생각하고 싶습니다).
— Tom Anderson
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.