기능 공학에 대한 실질적인 질문이 있습니다 ... 로지스틱 회귀를 사용하여 주택 가격을 예측하고 우편 번호를 포함하여 많은 기능을 사용했다고 가정합니다. 그런 다음 기능의 중요성을 확인하여 zip이 꽤 좋은 기능이라는 것을 알고 있으므로 zip을 기반으로 기능을 추가하기로 결정했습니다. 예를 들어 인구 조사국에 가서 평균 수입, 인구, 학교 수 및 수를 얻습니다. 각 우편의 병원. 이 네 가지 새로운 기능으로 모델 성능이 향상되었습니다. 더 많은 우편 관련 기능을 추가합니다.이주기는 계속 진행됩니다. 결국이 지퍼 관련 기능이 모델을 지배하게 될 것입니다.
내 질문 :
답변:
당신이 새로운 데이터를 계속 추가 할 수있는 경우 (예 : 우편 번호, 즉 영역으로 주요 개념을 기반으로) 과 모델의 성능 향상, 다음은 물론 당신은 최종 결과에 대해 신경 가정 ... 허용됩니다.
AIC ( Akaike Information Criterion ) 또는 이와 유사한 Bayesian Information Criterion (BIC) 과 같이이를 안내하려고하는 메트릭이 있습니다 . 이것들은 본질적으로 성능에 기초하여 모델을 선택하는 데 도움이되며 도입되고 추정되어야하는 모든 추가 매개 변수에 대해 처벌됩니다. AIC는 다음과 같습니다.
이러한 기준은 점점 더 많은 매개 변수를 사용하여 모델을 시도하고 AIC 또는 BIC 값이 가장 좋은 모델을 선택하기 때문에 중지시기를 알려줍니다.
ZIP과 관련이없는 다른 기능이 모델에 여전히있는 경우 사용중인 모델에 따라 기능이 압도 될 수 있습니다. 그러나 집의 바닥 면적과 같이 ZIP 정보에 포함 할 수없는 데이터 세트에 대한 내용도 설명 할 수 있습니다 (이는 ZIP 코드와 비교적 독립적이라고 가정).
이 경우 이러한 특성을 주성분 분석 (Principal Component Analysis)과 비교할 수 있습니다. 여기서 기능 모음은 데이터 집합의 차이를 한 차원 씩 설명하고 다른 기능은 다른 차원을 설명합니다. 따라서 ZIP 관련 기능의 수에 관계없이 바닥 면적의 중요성을 설명 할 수는 없습니다.
1) 그렇습니다. 피처를 수동으로 만들려고하면 학습자 (예 : 모델)가 원시 데이터가 학습에 적합한 형식이 아니기 때문에 항상 원시 데이터에서 더 많은 정보를 파악하는 데 도움이되지만 항상 그로부터 피쳐를 구성 할 수 있습니다. 추가하는 기능은 하나의 기능을 기반으로합니다. 이것은 일반적입니다. 그러나 학습자, 로지스틱 회귀는 다중 공선성에 민감합니다. 추가 할 기능과 기능 수에주의해야합니다. 그렇지 않으면 모형이 과적 합 될 수 있습니다.
2) 로지스틱 회귀 분석을 사용하므로 새로운 구조를 추가하기 전에 항상 AIC를 사용하거나 카이 제곱 검정 (적합성 테스트)과 같은 통계적 유의성 검정을 수행하여 반응 분포가 실제로 다른지 여부를 결정할 수 있습니다. 이 구조의 유무에 관계없이. 데이터가 부족할 때 특히 유용합니다. 다른 방법은 모델에 페널티 항을 추가하는 것입니다. 예를 들어 로지스틱 올가미 회귀 분석이 있습니다.
3) 새로운 기능을 계속 추가하는 것이 항상 좋은 생각은 아닙니다. 높은 차원의 저주에주의하십시오. 새 기능을 추가 할 때는 실제로 데이터에 새로운 차원을 추가하는 것입니다. 순진하게도, 더 많은 기능을 모으면 결코 클래스에 대한 새로운 정보를 제공하지 않기 때문에 결코 아프지 않을 것이라고 생각할 수 있습니다. 그러나 실제로 그들의 차원은 차원의 저주로 인해 더 클 수 있습니다. 머신 러닝 세션 6 에 대해 유용한 정보가 도움이 되기를 바랍니다 .
일반적으로 기능이 풍부할수록 좋습니다.
그러나 회귀는 일반적으로 상관 관계가 높은 데이터 (다중 공선 성)와 잘 작동하지 않습니다. 이 방법으로 기능을 확장하면 명심해야 할 사항입니다.
Google 회귀 및 다중 공선 성이라는 주제에 대한 많은 정보가 있으며 잠재적 완화 방법도 있습니다.
한마디로
기능은 모델의 정보입니다. 정보가 많을수록 더 잘 수행하고 예측할 수 있습니다. 값이 작을수록 값을 예측하기가 어렵습니다. 그래서 짧은 naser는 그렇습니다. 가능한 한 많은 기능을 가질 가치가 있습니다. 정보 과부하로 인해 프로세서가 손상 될 수 있기 때문에 항상 한계가 있으므로 엔지니어링되는 기능 수에주의하십시오. 또한 불필요한 기능은 번 아웃에만 추가되므로 특정 기능을 정리하는 것이 좋습니다. 전체 데이터 전처리 단계가 중요합니다.
첫 번째 답변에는 이에 대한 좋은 세부 정보가 있습니다. 사이클 정지에 관한 한, 모델의 성능이 멈춘 위치를 확인하기 위해 알아야 할 몇 가지 측정 및 요소가 있으며 RMSE와 같은 측정입니다. 간단한 예는 xgboost데이터에 회귀를 사용 하고주기 수를 지정하는 것입니다. 모델을 실행하면 각주기마다 RMSE를 얻게됩니다. 특정주기 후에 모델이 정체 된 것으로 추론 할 수있는 한계로 줄어 듭니다. 이것이 모델 튜닝 및 최적화 작동 방식입니다.