절제 연구 란 무엇입니까? 그리고 그것을 수행하는 체계적인 방법이 있습니까? 예를 들어 선형 회귀 분석에 예측 변수가 있으며이를 모형이라고합니다.
절제 연구는 어떻게 수행합니까? 어떤 측정 항목을 사용해야합니까?
포괄적 인 출처 또는 교과서가 좋습니다.
답변:
"절제"의 원래 의미 는 신체 조직 의 외과 적 제거이다 . “절제 연구 (Ablation study)”라는 용어는 1960 년대와 1970 년대 실험적 신경 심리학 분야에 뿌리를두고 있으며, 동물의 뇌 일부가 제거되어 이것이 행동에 미치는 영향을 연구합니다.
기계 학습, 특히 복잡한 심층 신경 네트워크와 관련하여 네트워크의 특정 부분을 제거하는 절차를 설명하기 위해 "절제 연구"가 채택되어 네트워크의 동작을 더 잘 이해합니다.
이 용어는 2018 년 6 월 Keras 딥 러닝 프레임 워크의 기본 저자 인 Francois Chollet 의 트윗으로 주목을 받았습니다 .
절제 연구는 딥 러닝 연구에 매우 중요합니다. 시스템의 인과 관계를 이해하는 것이 신뢰할 수있는 지식 (모든 연구의 목표)을 생성하는 가장 간단한 방법입니다. 그리고 절제는 인과 관계를 조사하는 매우 낮은 노력의 방법입니다.
복잡한 딥 러닝 실험 설정을 수행하면 성능 손실없이 몇 개의 모듈을 제거하거나 훈련 된 기능을 임의의 기능으로 대체 할 수 있습니다. 연구 과정에서 소음을 제거하십시오 : 절제 연구를하십시오.
시스템을 완전히 이해할 수 없습니까? 움직이는 부분이 많습니까? 그것이 작동하는 이유가 실제로 가설과 관련이 있는지 확인하고 싶습니까? 물건을 제거하십시오. 논문을 반증하려는 정직한 노력으로 실험 시간의 ~ 10 % 이상을 보내십시오.
예를 들어 Girshick과 동료 (2014) 는 세 개의 "모듈"로 구성된 객체 감지 시스템을 설명합니다. 첫 번째는 선택적 검색 알고리즘 ( Uijlings and fellow 2012 )을 사용하여 객체를 검색 할 이미지 영역을 제안합니다. 는 특징 추출을 수행하는 대형 회선 신경망 (5 회선 회선과 2 회선이 완전히 연결된 계층)으로 피드하여 분류를위한 일련의 지원 벡터 머신으로 피드합니다. 시스템을 더 잘 이해하기 위해 저자는 시스템의 여러 부분이 제거 된 절제 연구를 수행했습니다. 예를 들어 CNN의 완전히 연결된 레이어 중 하나 또는 둘 다를 제거하면 성능 손실이 거의 발생하지 않아서 저자는 결론을 내릴 수있었습니다.
CNN의 표현력의 대부분은 훨씬 더 조밀하게 연결된 레이어가 아닌 컨볼 루션 레이어에서 비롯됩니다.
OP는 절제 연구를 수행하기위한 / how /에 대한 자세한 내용과 포괄적 인 참조를 요청합니다. 나는 이것에 대한 "하나의 크기가 모두 맞는"답변이 있다고 생각하지 않습니다. 응용 프로그램 및 모델 유형에 따라 메트릭이 다를 수 있습니다. 문제를 하나의 심층 신경망으로 간단히 좁 히면 원칙적으로 레이어를 제거하고 이것이 어떻게 네트워크 성능을 변화시키는 지 살펴볼 수 있습니다. 이 외에도 실제로 모든 상황이 다르고 대규모 복잡한 기계 학습 응용 프로그램의 세계에서는 각 상황마다 고유 한 접근 방식이 필요할 수 있습니다.
OP-선형 회귀 분석의 예와 관련하여, 선형 회귀 모델에서 "제거"할 수있는 모든 것이 예측 변수이기 때문에 절제 연구는 의미가 없습니다. "원칙적"방식으로이 작업을 수행하는 것은 단계적으로 반대되는 선택 절차이며, 일반적으로 눈살을 찌푸 립니다. 자세한 내용 은 여기 , 여기 및 여기 를 참조하십시오. 올가미와 같은 정규화 절차는 선형 회귀에 대해 훨씬 더 나은 옵션입니다.
참조 :
Girshick, R., Donahue, J., Darrell, T. 및 Malik, J., 2014. 정확한 객체 탐지 및 시맨틱 분할을위한 풍부한 기능 계층. 컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의 절차 (pp. 580-587).
Uijlings, JR, Van De Sande, KE, Gevers, T. and Smeulders, AW, 2013. 객체 인식을위한 선택적 검색. 국제 컴퓨터 비전 저널, 104 (2), pp.154-171.