딥 러닝을 이용한 기능 선택?

심층 모델을 사용하여 각 입력 기능의 중요성을 계산하고 싶습니다.

- 그러나 나는 깊은 학습을 사용하여 기능 선택에 대한 하나의 종이 발견 깊은 기능 선택을 . 각 피처에 연결된 노드 레이어를 첫 번째 숨겨진 레이어 바로 앞에 삽입합니다.

DBN (Deep Faith Network)도 이러한 종류의 작업에 사용될 수 있다고 들었습니다. 그러나 DBN은 PCA와 같은 기능의 추상화 (클러스터) 만 제공하므로 치수를 효과적으로 줄일 수는 있지만 각 기능의 중요성 (무게)을 계산할 수 있는지 궁금합니다.

DBN으로 기능의 중요성을 계산할 수 있습니까? 딥 러닝을 사용하여 기능을 선택하는 다른 알려진 방법이 있습니까?

거의 모든 예측 모델에 대해 취할 수있는 한 가지 접근 방식은 먼저 모델을 학습하고 정확도를 찾은 다음 하나의 입력에 대해 노이즈를 추가하고 정확도를 다시 확인하는 것입니다. 각 입력에 대해 이것을 반복하고 잡음이 예측을 어떻게 악화시키는 지 관찰하십시오. 입력이 중요하면 노이즈로 인한 추가 불확실성이 해 롭습니다.

노이즈의 분산이 해당 입력의 분산에 비례하도록 설정하십시오.

물론 노이즈는 임의적이며 임의의 효과로 인해 하나의 입력이 중요하지 않은 것처럼 보이기를 원하지 않습니다. 교육 예제가 거의없는 경우 매번 새로운 노이즈가 추가 된 각 교육 예제의 정확도 변화를 반복적으로 계산해보십시오.

의견에 대한 답변 :

이 분석은 변수를 완전히 제거하여 수행 할 수도 있지만 노이즈 추가와 비교하여 몇 가지 단점이 있습니다.

• 입력 중 하나가 일정하다고 가정하면, 바이어스 용어처럼 작동하여 예측에서 역할을 수행하지만 정보를 추가하지 않습니다. 이 입력을 완전히 제거하면 퍼셉트론이 잘못된 바이어스를 받고 있기 때문에 예측 정확도가 떨어집니다. 이렇게하면 정보를 추가하지 않아도 입력이 예측에 중요한 것처럼 보입니다. 노이즈를 추가해도이 문제는 발생하지 않습니다. 모든 입력을 평균이 0이되도록 표준화 한 경우이 첫 번째 문제는 문제가되지 않습니다.

• 두 입력이 상관되어 있으면 한 입력에 대한 정보가 다른 입력에 대한 정보를 제공합니다. 상관 된 입력 중 하나만 사용하는 경우 모델을 잘 학습 할 수 있으므로 분석에서 하나의 입력이 도움이되지 않는다는 것을 알 수 있습니다. 입력 중 하나를 방금 제거한 경우 첫 번째 점과 같이 예측 정확도가 크게 낮아져 중요하다는 것을 나타냅니다. 그러나 노이즈를 추가해도이 문제는 발생하지 않습니다.

이 백서를 확인하십시오 : https://arxiv.org/pdf/1712.08645.pdf

드롭 아웃을 사용하여 기능의 순위를 지정합니다.

...이 작업에서는 입력 피처 레이어에서 드롭 아웃 개념을 사용하고 해당 피처 별 드롭 아웃 속도를 최적화합니다. 각 피처는 확률 적으로 제거되므로, 본 방법은 피처 배깅과 비슷한 효과를 만들어 내고 (Ho, 1995) LASSO와 같은 다른 비 포기 방법보다 상관 된 피처의 순위를 더 잘 관리합니다. 우리는 우리의 방법을 RF (Random Forest), LASSO, ElasticNet, 한계 순위 및 딥 피처 선택 및 다양한 휴리스틱 (heuristics)과 같은 DNN에서 중요성을 도출하기위한 몇 가지 기술과 비교합니다.

이 게시물을보십시오 : https://medium.com/@a.mirzaei69/how-to-use-deep-learning-for-feature-selection-python-keras-24a68bef1e33

이 백서 : https://arxiv.org/pdf/1903.07045.pdf

기능 선택에 딥 모델을 적용하기위한 멋진 구성표를 제시합니다.