신경망의 기능을 선택하는 방법은 무엇입니까?


16

나는이 질문에 대한 명확한 대답이 없다는 것을 알고 있지만 많은 데이터가있는 거대한 신경망이 있고 새로운 기능을 입력에 추가하고 싶다고 가정 해 봅시다. "가장 좋은"방법은 새로운 기능으로 네트워크를 테스트하고 결과를 보는 것이지만 기능이 도움이되지 않는지 테스트하는 방법이 있습니까? 상관 관계 측정 ( http://www3.nd.edu/~mclark19/learn/CorrelationComparison.pdf ) 등?


1
비 랜덤 상관 관계는 해당 기능 유용함을 나타내는 지표 일 수 있습니다 . 하지만 아이디어를 배제 할 수있는 사전 훈련 테스트에 대해서는 잘 모르겠습니다. 링크 된 논문은 비선형 상관이 사용 가능한 테스트에서 잘 감지되지 않지만 신경망이이를 찾아 사용할 수 있음을 명확하게합니다.
닐 슬레이터

답변:


16

새 기능과 기존 기능 간의 매우 강한 상관 관계는 새 기능이 거의 새로운 정보를 제공하지 않는다는 상당히 좋은 신호입니다. 새로운 특징과 기존 특징 사이의 낮은 상관 관계가 바람직 할 것이다.

새로운 특징과 예측 변수 사이의 강한 선형 상관 관계는 새로운 특징이 가치가 있다는 좋은 신호이지만, 신경 네트워크가 선형 조합으로 제한되지 않기 때문에 높은 상관 관계가 없으면 특징이 좋지 않은 신호일 필요는 없습니다 변수

새 기능이 기존 기능의 조합으로 수동으로 구성된 경우에는 그대로 두십시오. 신경망의 장점은 기능 엔지니어링과 전처리 과정이 거의 필요하지 않다는 것입니다. 기능은 대신 중간 계층에 의해 학습됩니다. 가능할 때마다 공학 기능보다 학습 기능을 선호하십시오.


나는 항상 기능을 예측하기 위해 값을 비교하려고 생각했습니다. 기능 간의 상관 관계에 대해 이야기하고 있습니다. 귀하의 답변이 제 사건에도 적용됩니까? 이론 상으로는 예측할 가치와 관련된 새로운 기능 만 추가해야합니까?
marcodena

그것은 또한 귀중한 척도입니다. 방금 답변을 업데이트했습니다.
Madison May

요컨대, 예측할 값과의 강한 상관 관계는 큰 신호이지만 예측 값과의 상관 관계가 약한 것은 반드시 나쁜 신호는 아닙니다.
Madison May

감사. 보고서를 작성 중이며 기능을 정당화하기 위해 선형 / 비선형 상관 관계를 보여주고 싶었습니다 (결과 이전에도). 말이 되나요? 당신의 대답에서 나는 상관 관계의 매트릭스를 만들 수는 있지만 어쩌면 그것은 말도 안됩니다
marcodena

1
비선형 상관 관계를 사용하지만 괜찮습니다.
marcodena

0

sklearn을 사용하는 경우 model.feature_importances_라는 유용한 기능이 있습니다. 모델 / 새로운 기능을 사용해보고 도움이되는지 확인하십시오. 예제를 보려면 여기여기 를 보십시오 .

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.