훌륭한 알고리즘, 기계 학습 및 선형 대수학 없음


30

고급 알고리즘 과정을 가르치고 학생들이 관심을 가질만한 머신 러닝 관련 주제를 포함시키고 싶습니다. 결과적으로 머신 러닝에서 현재 가장 흥미롭고 가장 큰 알고리즘 결과에 대한 사람들의 의견을 듣고 싶습니다. 잠재적으로 까다로운 제약은 학생들이 선형 대수학 또는 기계 학습의 다른 주요 주제에 대한 특정 사전 지식을 갖지 못한다는 것입니다.

이는 실제로 주제에 대해 흥미를 유발하고 ML이 알고리즘 전문가에게 흥미로운 연구 분야임을 알리기위한 것입니다.

편집 : 이것은 마지막 학년 학사 과정입니다 (본교에는 영국에 대학원 과정이 없기 때문에). 그들은 사전에 최소한 하나의 기본 알고리즘 코스를 수행했을 것이고 아마도 고급 추적 조사 코스를 선택하기 위해 아마도 잘 수행했을 것입니다. 고급 과정의 현재 강의 계획서는 완벽한 해싱, 블룸 필터, 반 엠데 보아스 트리, 선형 프로그램, 약. NP 어려운 문제 등에 대한 알고리즘. ML에 대해 하나 이상의 강의를 쓰려고하지 않지만 알고리즘 과정과 ML 과정에 실제로 관련된 것이 있다면 물론 포함될 수도 있습니다.


1
1) 학부 과정입니까 아니면 대학원 과정입니까? 어떤 관련 과정 (있는 경우)을 통과 했습니까? 2) ML에 얼마나 많은 시간을 할애하고 싶습니까?
MS Dousti

3
흠 나는 선형 대수학이 적어도 기계 학습 측면에서 필수적이고 중요한 기초 과정이라고 생각합니다. 선형 모델은 머신 러닝 알고리즘에 매우 좋은 입문이라고 생각합니다. K- 최근 접 이웃 또는 로지스틱 회귀 알고리즘과 같은 다른 기본 수준 알고리즘을 생각할 수 있습니다. 도움이 될 수 있습니다 en.wikipedia.org/wiki/List_of_machine_learning_algorithms
Deyaa

1
아마도 방법 핼 Daume에서 몇 가지 아이디어는 기계 학습은 가르치는 - nlpers.blogspot.com/2010/04/how-i-teach-machine-learning.html
야로 슬라브 Bulatov

3
Raphael에게, Avrim Blum은 일반적으로 머신 러닝과 몇 가지 관련 주제로 수석 레벨 알고리즘 수업을 마칩니다. 최근 반복은 다음 링크 cs.cmu.edu/~avrim/451f09/index.html 에 있으며, 그의 웹 페이지에서 더 많은 정보를 얻을 수 있습니다. TA와이 수업을 모두 마친 학생들은 학생들에게 매우 따뜻하게 받아 들여 진다고 말할 수 있습니다.
matus

1
예를 들어, 참조 유전자 알고리즘 또는도 깊은 학습
vzn

답변:


29

부스팅 을 커버 할 수 있습니다 . 매우 영리하고 구현하기 쉽고 실제로 널리 사용되며 이해하기 위해 많은 사전 지식이 필요하지 않습니다.


5
나는 Arora et al.에 의한 설문의 일부를 제시했다. 몇 년 전 대학원 이론 수업에서 ( cs.princeton.edu/~arora/pubs/MWsurvey.pdf ). 사람들은 그것을 좋아하는 것 같았고이 자료를 이해하는 데 거의 배경이 필요 없다고 생각합니다.
Danu

9

한 번의 강의에서 식욕을 자극하고 싶다면 강력한 응용 프로그램을 제시하는 것이 가장 흥미로울 것입니다. 예를 들어, 서포트 벡터 머신 및 기타 머신 러닝 알고리즘은 약물 발견을 위해 화학 정보학에서 사용됩니다.

학습 문제는 본질적으로 우리가 화학 물질을 보여주기를 원하는 행동이 주어지면 유사한 (또는 다른) 행동을 나타내는 알려진 구조의 데이터베이스에서 그 행동을 나타내는 구조를 고안하는 것입니다. 학습 문제에는 추가적인 주름이 있습니다. 새로운 의약품은 특허권을 찾기 위해 이전에 알려진 의약품과 글로벌 구조에서 "먼"거리에 있어야합니다.

한 가지 출처는 클러스터링 방법과 전산 화학에서의 사용입니다 .


1
참조 주셔서 감사합니다. SVM을 볼록 최적화 응용 프로그램으로 가르치는 것을 생각하고있었습니다. 그것은 알고리즘 부분과 ML 부분을 훌륭하게 관련시킵니다.
Raphael

2
선형 대수없이 SVM을 어떻게 커버합니까?
레브 레이 진

나는 그들에게 내 과정에서 최소한의 전제 조건을 가르치기를 바랐다. 어쩌면 그것은 너무 낙관적이었다 :-)
Raphael

서포트 벡터 머신이 최선의 선택이되는 중요한 예가 여전히 있습니까? 예를 들어, kaggle 대회에서는 결코 우승작의 주요 부분이 아닙니다. 적어도 최근에 본 적이 없습니다. (물론 수정 될 것입니다.)
Lembik

7

K- 평균 및 KNN은 매우 강력하며 점의 거리 계산을 제외하고 선형 대수를 필요로하지 않습니다.


K- 평균은 특히 매우 강력한 알고리즘입니다. 목적 함수 성능에 대한 한계가 입증되지 않았음에도 불구하고 Simplex 알고리즘의 효과적인 다항식 복잡성 (실제 지수 복잡성에도 불구하고)과 거의 같은 놀라운 정도입니다. 온라인 버전은 대규모 데이터 응용 프로그램에도 유용합니다.
엘리엇 JJ

5

Christopher Bishop (MSR)의 "Neural Networks and Machine Learning"의 두 번째 부분은 ML의 알고리즘에 관한 것입니다. 주교의 교과서는 일반적으로 대학원 (및 이후 학부) 교과서에 사용되며 매우 잘 쓰여져 있습니다.


4

이 알고리즘 은 그래프 최소 컷을 사용하여 적은 양의 레이블이 지정된 샘플 만 사용하여 많은 양의 레이블이없는 샘플을 분류합니다.

친근한 분위기. 나는 이것을 무작위로 선택된 소수의 학부생들에게 설명했고 그들은 그것을 이해했다.

참고 : Blum, A. & Chawla, S. (2001). 그래프 mincuts를 사용하여 레이블이있는 데이터와 레이블이없는 데이터로부터 학습

자체 프로모션 YouTube 에서 알고리즘의 시각화 .




1

클래식하거나 직관력이 좋은 알고리즘을 다룰 수 있습니다.

예를 들어, C4.5 및 CART는 클래식 의사 결정 트리 알고리즘입니다.

또한 실제 애플리케이션에서 성능이 우수한 일부 앙상블 방법 (예 : AdaBoost (Boosting), Bagging)을 다룰 수 있습니다.

또한 딥 러닝은 매우 뜨겁기 때문에 좋은 주제입니다.



0

기본 베이 및 베이지안 네트워크, 의사 결정 트리 알고리즘은 중립 네트워크 또는 svm으로 시작하는 것보다 시각화하기가 쉽습니다.


0

유전자 프로그래밍은 정말 멋지다. 생물학에서 영감을 받아 수많은 문제 (예 : n- 퀸즈 문제 및 TSP)에 적용 할 수 있습니다.

깊은 수학적 기술이 필요하지 않습니다.

편집 : 그것은 잠재적 인 솔루션이 얼마나 좋은지를 추정하는 방법 만 필요합니다. 예를 들어 일련의 숫자 뒤에있는 규칙을 추측하고 다변량 문제에 대한 최소 / 최대 값을 찾고 거대한 매개 변수 공간을 검색하는 데 사용할 수 있습니다. 최적의 솔루션에 관심이 없지만 충분한 솔루션이 필요한 경우에 적합합니다. 나는 이것이 게임을위한 좋은 전략을 찾는 데 사용되었다고 생각합니다 (Starcraft 2에서 빌드 주문, Mario에서 최적의 플레이).


가장 좋은 방법 인 중요한 문제가 있습니까? 예를 들어 TSP에는 해당되지 않습니다.
Lembik
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.