패턴 인식 작업에서 최첨단 앙상블 학습 알고리즘?


14

이 질문의 구조는 다음과 같습니다. 처음에는 앙상블 학습 의 개념을 제공하고 , 추가로 패턴 인식 작업 목록을 제공 한 다음 앙상블 학습 알고리즘의 예를 제공하고 마지막으로 내 질문을 소개합니다. 모든 추가 정보가 필요하지 않은 사람들은 헤드 라인을보고 바로 내 질문으로 넘어갈 수 있습니다.


앙상블 학습이란 무엇입니까?

Wikipedia 기사 에 따르면 :

통계 및 기계 학습에서 앙상블 방법 은 여러 학습 알고리즘을 사용 하여 구성 학습 알고리즘만으로 얻을 수있는 것보다 더 나은 예측 성능 을 얻 습니다. 일반적으로 무한한 통계 역학 의 통계 앙상블 과 달리 머신 러닝 앙상블은 구체적인 유한 한 대안 모델 집합만을 지칭하지만 일반적으로 이러한 대안 중에서 훨씬 더 유연한 구조를 허용합니다.


패턴 인식 작업의 예 :


앙상블 학습 알고리즘의 예 :

PR 작업에 사용되는 다음 앙상블 학습 알고리즘 (Wiki에 따름) :

앙상블 학습 알고리즘 (여러 학습 알고리즘을 함께 결합하기위한 감독 된 메타 알고리즘) :

  • 부스팅 (주로편향을줄이고 주로지도 학습의차이를줄이기위한기계 학습 앙상블메타 알고리즘및 약한 학습자를 강한 학습자로 변환하는 기계 학습 알고리즘 제품군)

  • 부트 스트랩 집계 ( " 배깅 ") (통계 분류회귀에사용되는 기계 학습 알고리즘의 안정성과 정확성을 향상 시키도록 설계된 기계 학습 앙상블 메타 알고리즘)

  • 앙상블 평균화 (하나의 모델을 생성하는 대신 여러 모델을 생성하고 원하는 출력을 생성하기 위해 이들을 결합하는 프로세스) 모델의 다양한 오류가 "평균화"되기 때문에 모델의 앙상블이 개별 모델보다 성능이 우수합니다. )

  • 전문가의 혼합, 전문가의 계층 적 혼합

다른 구현

  • 신경망의 앙상블 (개별 모델의 결과를 평균화하여 결정을 내리는 신경망 모델 세트).
  • 훈련 시간에다수의의사 결정 트리를구성하고 개인의 수업모드(분류) 또는 평균 예측 (회귀)을출력하여작동하는 무작위 숲 (분류, 회귀 및 기타 작업을위한 앙상블 학습 방법) 나무).
  • AdaBoost (다른 학습 알고리즘의 결과 ( '약한 학습자')는 강화 된 분류기의 최종 결과를 나타내는 가중치 합계로 결합됩니다).

또한 :

  • 하나의 신경망을 사용하여 다른 분류기를 결합하는 방법
  • 역량 영역 방법

내 질문

오늘날 어떤 앙상블 학습 알고리즘이 최첨단으로 간주되고 실제로 기업과 조직에서 실제로 얼굴 인식, 차량 등록 판 인식, 광학 문자 인식 등에 사용됩니까? 앙상블 학습 알고리즘을 사용하면 인식 정확도가 높아지고 계산 효율성이 향상됩니다. 그러나 문제가 실제로 이런 식으로 서 있습니까?

패턴 인식 작업에서 분류 정확도와 성능을 향상시킬 수있는 앙상블 방법은 무엇입니까? 아마도 일부 방법이 현재 구식이거나 효과가없는 것으로 보입니다. 앙상블 방법이 일부 새로운 알고리즘의 강도에서 더 이상 사용되지 않는 경향이있을 수도 있습니다. 해당 분야에 경험이 있거나이 분야에 대한 충분한 지식이있는 사람들은 문제를 명확히하는 데 도움을 줄 수 있습니까?


내가 최근에 들었던 것은 사람들이 XGBoost를 좋아 하고 여러 Kaggle 경쟁에서 정말 인상적인 성능을 보여주었습니다.
Sangwoong Yoon

답은 짧습니다 : 최고의 CV 점수를 제공합니다. 일반적으로 쌓임
Alexey Grigorev

앙상블 모델의 성공과 실패는 앙상블의 멤버 모델 데이터의 특성에 따라 달라집니다. 멤버 모델은 어느 정도의 다양성을 제공하기 때문에 Ensemble이 작동합니다. 앙상블에 넣은 모델과 해당 데이터 세트가 모두 없으면 질문에 대답 할 수 없을 것입니다.
horaceT

답변:


9

최신 알고리즘은 산업 생산에 사용되는 것과 다를 수 있습니다. 또한 후자는보다 기본적인 (그리고 더 해석하기 쉬운) 접근 방식을 미세 조정하여 학계보다 더 잘 작동하도록 투자 할 수 있습니다.

예 1 : TechCrunch 에 따르면 Nuance는 이번 9 월 Dragon 음성 인식 제품에 "딥 러닝 기술"을 사용하기 시작할 것입니다.

예 2 : Chiticariu, Laura, Yunyao Li 및 Frederick R. Reiss. "규칙 기반 정보 추출이 죽었습니다! 긴 라이브 규칙 기반 정보 추출 시스템!." EMNLP에서는 아닙니다. 10 월, 827-832 쪽. 2013. https://scholar.google.com/scholar?cluster=12856773132046965379&hl=ko&as_sdt=0,22 ; http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf

여기에 이미지 설명을 입력하십시오

그렇게 말하면서 :

오늘날 어떤 앙상블 학습 알고리즘이 최첨단으로 간주 되는가

이미지 분류를위한 최첨단 시스템 중 하나는 앙상블 (내가 아는 한 대부분의 다른 시스템과 마찬가지로) 인 앙상블을 통해 큰 이득을 얻습니다. He, Kaiming, Xiangyu Zhang, Shaoqing Ren 및 Jian Sun. "이미지 인식을위한 딥 잔차 학습" arXiv 프리 프린트 arXiv : 1512.03385 (2015). https://scholar.google.com/scholar?cluster=17704431389020559554&hl=ko&as_sdt=0,22 ; https://arxiv.org/pdf/1512.03385v1.pdf

여기에 이미지 설명을 입력하십시오


3

SLAM과 같은 매우 구체적인 작업을 제외하고 컴퓨터 비전의 대부분의 하위 도메인 (분류, 감지, 초 고해상도, 가장자리 감지 등)에서 딥 러닝이 거의 최첨단이라고 말할 수 있습니다. 딥 러닝은 아직 기존 방법과 동등하지 않습니다.

경쟁 네트워크에서 평균을 얻기 위해 몇 퍼센트를 더 얻는 것은 종종 평균 네트워크가 사용되지만 네트워크는 너무 좋아 져서 더 이상 중요하지 않습니다.

생산 과정에서는 완전히 다릅니다. 대기업은 일반적으로 효과가 입증 된 기존 알고리즘에 의존하고 있으며, 전문가는이를 사용하여 수년간의 지식을 보유하고 있습니다.
또한 공급망에 새로운 알고리즘을 통합하려면 많은 시간이 필요합니다. 일부 카메라 회사는 여전히 얼굴 감지에 Viola Jones 감지기를 사용하고 있으며 SIFT가 산업의 많은 응용 분야에서 많이 사용되고 있다는 사실을 알고 있습니다.

그들은 여전히 ​​위험한 블랙 박스로 간주되는 딥 러닝 방법에 대해 약간 회의적입니다.
그러나 이러한 알고리즘의 인상적인 결과는 사람들이 그것에 대해 마음을 바꾸게 만드는 속도가 느립니다.

신생 기업은 자금을 확보하기 위해 혁신적인 솔루션을 보유해야하는 솔루션을 더욱 기꺼이 사용합니다.

나는 20 년 안에 대부분의 컴퓨터 비전 기반 제품이 더 효과적인 무언가가 발견 되더라도 딥 러닝을 사용할 것이라고 말합니다.
Kaiming 그는의 ResNets이라는 것을 너무 빨리 변화 프랑크의 대답 깊은 학습에 추가되지 주 예술 더이상의 조밀하게 길쌈 네트워크 연결와이드 및 SGD를 다시 시작 깊은 네트워크는 지금 SOTA 있습니다 EDIT 아마 Imagenet 너무 심지어이 CIFAR 및 SVHN 및 9 월 16 일 ILSVRC 2016 결과로 며칠 안에 변경 될 수 있습니다.

MS-COCO에 대한 최신 결과에 관심이있는 경우 기존의 가장 까다로운 탐지 데이터 세트가 10 월 ECCV에서 출시됩니다.


1
사실, 이중 확인 후, 인용 한 기사는 Imagenet에 대한 결과를 언급하지 않습니다! 그래서 내 실수 야! 그러나 CIFAR 및 SVHN보다 훨씬 우수하므로 Imagenet에서는 동일해야하지만 결코 알 수는 없습니다. 나는 그들이 ILSVRC의 결과를 기다린다고 언급하지 않았지만 틀릴 수도 있습니다!
Jean

1
@FranckDernoncourt이 열광적 인 결과는 매우 흥미로울뿐만 아니라이 분야에 게시하려는 사람들에게 많은 압력을 가할 수 있습니다. 이는 저자가 오늘 NIPS에서 철회 한이 악명 높은 SARM 기사 와 같은 실수로 이어질 수 있습니다.
Jean

고마워, 그래, 나는 실제로 그것을 보았지만, 그 종이를 조사 할 기회를 얻지 못했다… 나는이 모든 새로운 ANN PDF로 읽을 목록을 비우는 데 문제가있다 : /
Franck Dernoncourt

이 SARM 철수 사건은 통계의 재현성 위기를 다시 생각하게 만듭니다. 검토 과정에서 필요한 구현 세부 사항의 양, 너무 적은 양 등
horaceT

2

귀하의 질문과 관련된 많은 가정이 있으며 일반적으로 최상의 모델을 찾는 데는 대부분의 데이터를 테스트해야합니다. 이론적으로 모델이 더 정확한 결과를 생성 할 수 있다고해서 항상 오류가 가장 적은 모델을 생성한다는 의미는 아닙니다.

블랙 박스를 받아 들일 수 있다면 신경망 앙상블은 매우 정확할 수 있습니다. 노드 수와 레이어 수에 따라 다양한 데이터가 분산 될 수 있으며, 이러한 많은 모델링 요소를 도입하면 데이터를 과적 합하기가 쉽습니다.

랜덤 포레스트는 가장 정확한 결과를 거의 얻지 못했지만 부스트 트리는 과적 합의 위험없이 논의한 AI 작업과 같은 복잡한 관계를 모델링 할 수 있습니다.

이 모든 모델을 함께 앙상블하는 것이 아니라이 모델이 개별 모델의 가능한 강점을 타협하는 이유는 무엇일까요? 다시 말하지만 이로 인해 일부 과적 합 문제가 발생할 수 있습니다.

계산적으로 효율적인 모델은 다른 문제이므로 매우 복잡한 신경망으로 시작하지는 않습니다. 신경망을 벤치 마크로 사용하면 경험상 부스트 트리를 사용하는 것이 가장 효율적이었습니다.

이것은 나의 경험과 논의 된 각각의 모델링 유형에 기초한 이론에 대한 합리적인 이해를 바탕으로합니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.