기계 학습과 시스템 식별?

누구나 기계 학습과 시스템 식별의 차이점과 유사점을 설명해 줄 수 있습니까? 이것들은 같은 것의 두 이름입니까? 이 페이지 에서는 다음 과 같이 말합니다.

기계 학습 및 시스템 식별 커뮤니티는 제한적이거나 시끄러운 관찰로부터 모델을 구성해야하는 유사한 문제에 직면 해 있습니다.

또한 Christopher M. Bishop의 유명한 책인 패턴 인식 및 기계 학습의 초기 장을 읽었습니다. 지금까지 필자의 결론은 시스템 식별으로 해결하려는 문제는 머신 러닝으로 해결하려는 부분 집합이라는 것입니다.

시스템 식별은 관측 된 데이터로부터 동적 모델을 구성하는 과학입니다. PEI (Prediction Error Identification) 및 SID (Subspace Identification)의 두 가지 주요 접근 방식이 있습니다. 둘 다 소위 파라 메트릭 모델, 즉 고정 된 구조의 모델을 제공합니다. 일반적으로 사용자가 기본 시스템의 구조 (특히 PEI 방법) 또는 최소한 시스템 순서 (두 방법 모두)를 선택하는 경우입니다. 비록 필요하지 않더라도, 제어 목적으로 종종 사용되기 때문에 낮은 차수 시스템이 요구됩니다 (즉, 기본 계수의 수가 비교적 적습니다). 따라서 우리는 가능한 한 간단하게 유지해야합니다. 계산 문제 등.이 모델은 일부 입력이 주어지면 시스템의 미래 행동에 대한 예측을하는 데 사용될 수 있습니다.

반면 머신 러닝 (ML)에는 분류 및 회귀 알고리즘의 두 가지 주요 분기가 있습니다. 후자는 예측 목적으로도 사용됩니다. 머신 러닝에서 가장 유명한 두 가지 접근 방식은 SVM (Support Vector Machine)과 GP (Gaussian Process)입니다. 시스템 식별 기술과의 주요 차이점은 ML 기술이 비모수 적 모델을 제공한다는 것입니다. 후자는 새로운 입력에 대한 예측이 모델의 "훈련"(학습, 식별)에 사용되는 데이터 포인트의 함수로 제공됨을 의미합니다. 따라서 훈련에 N = 1000 개의 데이터 포인트를 사용한 경우 예측은 이러한 데이터 포인트의 함수로 표현됩니다. ML 방법은 사용자가 구조를 선택할 필요가 없기 때문에 더 유연하지만 다른 제한에 직면합니다 (예 :

최근까지 ML과 시스템 식별 기술은 독립적으로 개발되었습니다. 그러나 후반에는 공통의 근거를 확립하기 위해 많은 노력을 기울이고 있습니다 (예 : Ljung의 "시스템 식별에 대한 네 가지 만남"논문 참조)

컨텍스트 : SysID 및 ML에 들어간 사람을 제어합니다.

user110686의 대답 은 약간의 차이점을 설명하는 공정한 일 이라고 생각 합니다. SysID는 반드시 입 / 출력 데이터의 동적 모델에 관한 것이지만 ML은 더 광범위한 문제를 다룹니다. 그러나 내가 보는 가장 큰 차이점은 (a) 메모리 (매개 변수 수); (b) "학습 된"모델의 최종 사용. 시스템 식별은 주파수 영역 표현, 시간-주파수 분석 등을 고려한 신호 처리 방식입니다. 일부 ML 사람들은 이것을 "기능 공학"이라고 부릅니다.

(a) 기억 :연구 분야가 형성되면서 ML이 나오기 오래 전에 SysID가 두드러졌습니다. 따라서 통계와 신호 ​​처리는 이론적 기초의 기본이었으며 계산은 무서웠습니다. 따라서 사람들은 매개 변수가 거의없는 매우 간단한 모델 클래스 (바이어스-밸런스 트레이드 오프)로 작업했습니다. 우리는 사람들이 문제가 비선형이라는 것을 분명히 알고있는 경우에도 최대 30-40 개의 매개 변수와 대부분 선형 모델을 이야기하고 있습니다. 그러나 이제 계산은 매우 저렴하지만 SysID는 아직 셸에서 나오지 않았습니다. 사람들은 지금 우리가 훨씬 더 나은 센서를 가지고 있고 매우 풍부한 모델 세트로 1000 개의 매개 변수를 쉽게 추정 할 수 있다는 것을 깨닫기 시작해야합니다. 일부 연구자들은 SysID에 신경망을 사용하려고 시도했지만 많은 이론적 보장이 없기 때문에 많은 사람들이이를 "주류"로 받아들이기를 꺼려하는 것 같습니다.

(b) 학습 된 모델의 최종 사용 : 이제 이것이 SysID가 매우 올바른 한 가지이지만 많은 ML 알고리즘이 캡처하지 못합니다. 대상 응용 프로그램의 경우 온라인 최적화에 효과적으로 사용할 수있는 모델을 구축해야 합니다.이러한 모델은 모든 제어 결정을 전파하는 데 사용되며이를 최적의 제어 문제로 설정할 때 모델이 제약 조건이됩니다. 따라서 매우 복잡한 모델 구조를 사용하면 온라인 최적화가 훨씬 더 어려워집니다. 또한 이러한 온라인 결정은 몇 초 이내에 이루어집니다. 제안 된 대안은 최적의 통제를 위해 정책 외 방식으로 가치 기능을 직접 학습하는 것입니다. 이것은 기본적으로 강화 학습이며 SysID와 RL 사이에는 좋은 시너지 효과가 있다고 생각합니다.

시스템 식별에 비모수 적 접근 방식도 추가하고 싶습니다. 자세한 내용은 MATLAB의 SysId 도구 상자 또는 Ljung의 책을 참조하십시오. 비모수 적 접근 방식은 종종 나중에 모수 적 연구를 위해 모델의 클래스를 식별하는 데 사용됩니다. 또한 추정 문제와 제어 문제 (OODA 루프 생각)를 분리하는 것이 중요합니다. 시스템을 식별 할 때 종종 나중에 설계 될 유형의 특정 제어 입력없이 시스템을 특성화하는 것이 종종 목표입니다 (그러나 이것이 항상 가능한 것은 아닙니다). 마지막으로, 시스템이 수학적 관점에서 함수 공간을 함수 공간에 매핑하는 연산자라는 것을 인식하는 것이 도움이된다고 생각합니다. 따라서 미분 방정식은 종종 식별 된 것들의 종류이며 이러한 기능들은 함수에 매핑됩니다. SysID의 기능은 종종 연속 시간 신호 (일명 연속 시간 신호)입니다. 그러나 이산 시간도 가능합니다. 따라서 SysID는 실수 (또는 벡터)를 실수 (또는 벡터)에 매핑하려고하지 않습니다. 입력 신호를 출력 신호에 매핑하는 최상의 연산자 (LTI, LTV, 비선형 등)를 식별합니다.

기계 학습 : 정적 모델 및 동적 모델 모델링, 시스템 식별 : 동적 모델 또는 동적 프로세스에 초점