하이퍼 파라미터 튜닝을위한 베이지안 최적화에 비해 입자 떼 최적화의 장점은 무엇입니까?

ML 하이퍼 파라미터를 튜닝하기위한 베이지안 최적화 (1)에 대한 실질적인 현대 연구가 있습니다 . 여기서의 동기 부여는 모델 교육에 시간이 많이 걸리기 때문에 약간의 노력이 필요하기 때문에 (객관적인 함수 호출이 비싸므로 더 적은 것을 만드는 것이 좋습니다) 어떤 정보를 선택해야하는지에 대한 최소한의 데이터 포인트가 필요하다는 것입니다. 내가 작업 한 큰 SVM 문제는 완료하는 데 몇 분에서 몇 시간이 걸릴 수 있습니다.

반면, Optunity 는 동일한 작업을 처리하기위한 입자 무리 구현입니다. 나는 PSO에 압도적으로 익숙하지는 않지만 하이퍼 파라미터 표면을 평가하기 위해 더 많은 시험 포인트를 요구한다는 의미에서 객관적인 기능 평가가 덜 효율적 인 것 같습니다.

기계 학습 컨텍스트에서 PSO를 BO보다 선호하는 주요 세부 정보가 누락 되었습니까? 아니면 하이퍼 파라미터 튜닝 작업에 대해 항상 본질적으로 상황에 맞는 것입니까?

(1) Shahriari et al., "사람을 루프에서 꺼내기 : 베이지안 최적화 검토".

Optunity의 수석 개발자로서 2 센트를 추가하겠습니다.

실제 문제에서 Optunity와 가장 인기있는 Bayesian 솔버 (예 : hyperopt, SMAC, bayesopt)를 비교 한 광범위한 벤치 마크를 수행했으며 그 결과 PSO가 실제로 많은 실제 사례에서 그리 효율적이지 않은 것으로 나타났습니다. 다양한 데이터 세트에서 SVM 분류기를 조정하는 벤치 마크에서 Optunity는 실제로 hyperopt 및 SMAC보다 효율적이지만 BayesOpt보다 약간 덜 효율적입니다. 나는 여기에 결과를 공유하고 싶지만 Optunity가 JMLR에 마침내 출판 될 때까지 기다릴 것입니다 (1 년 이상 검토 중이므로 숨을 참지 마십시오 ...).

알다시피, 효율성 향상은 베이지안 최적화에 일반적으로 사용되는 판매 지점이지만 실제로는 기본 대리 모델의 가정이 사소한 경우에만 물을 보유합니다. 우리의 실험에서 Optunity의 매우 간단한 PSO 솔버는 종종 함수 평가 수 측면에서 복잡한 베이지안 접근법과 경쟁합니다. 베이지안 솔버는 우수한 선행 조건이 제공 될 때 매우 잘 작동하지만 정보가없는 선행으로는 효율성 측면에서 PSO와 같은 메타 휴리스틱 방법에 비해 구조적 이점이 거의 없습니다.

PSO의 큰 판매 포인트는 그것이 당연히 평행하다는 사실입니다. 베이지안 최적화는 본질적으로 순차적 인 특성으로 인해 병렬화가 어려운 경우가 많습니다 (hyperopt의 구현이 유일한 예외 임). 표준이되고있는 분배 기회가 주어짐에 따라 Optunity는 벽시계 시간을 앞당겨 우수한 솔루션을 얻는 데 빠르게 앞장서고 있습니다.

Optunity와 대부분의 다른 전용 하이퍼 파라미터 최적화 라이브러리의 또 다른 주요 차이점은 대상 독자입니다. Optunity는 인터페이스가 가장 단순하고 비 기계 학습 전문가를 대상으로하는 반면, 대부분의 다른 라이브러리는 효과적으로 사용하기 위해 베이지안 최적화에 대한 이해가 필요합니다 (즉, 전문가를 대상으로 함).

우리가 라이브러리를 만든 이유는 전용 하이퍼 파라미터 최적화 방법이 존재하지만 실제로 채택이 부족하기 때문입니다. 대부분의 사람들은 여전히 ​​수동으로 조정하거나 그리드 또는 임의 검색과 같은 순진한 접근 방식을 통해 전혀 튜닝하지 않습니다. 우리가 생각하기에 이것이 중요한 이유는 Optunity를 개발하기 전에 기존 라이브러리가 설치, 문서화, API 측면에서 사용하기가 너무 어려워 단일 환경으로 제한되기 때문입니다.

대답은 문제에 따라 다르며 추가 컨텍스트없이 제공 될 수 없습니다. 일반적으로 대답은 다음과 같습니다. 베이지안 최적화 (Bayesian Optimization)는 계산 예산이 변수 수의 10x-100x에 이르는 저 차원 문제에 더 적합합니다. PSO는 훨씬 더 큰 예산에 매우 효율적일 수 있지만 틈새 시장에서는 최신 기술이 아닙니다.