신경망은 효율적인 코딩을 사용합니까?

내 질문은 효율적인 코딩 가설 과 효율적인 네트워크 학습 알고리즘 에 관한 Wikipedia 페이지에 요약 된 효율적인 코딩 가설 간의 관계에 관한 것 입니다.

효율적인 코딩 가설과 신경망의 관계는 무엇입니까?

효율적인 코딩 가설에서 명시 적으로 영감을 얻은 신경망 모델이 있습니까?

아니면 모든 신경망 학습 알고리즘이 적어도 효율적인 코딩에 기반을두고 있다고 말하는 것이 더 공정할까요?

neural-networks information-theory

— 마이크 뉴질랜드
소스

아마도 희소 한 자동 엔코더 가 무엇입니까? (관심이 덜 기술적이고 더 광범위하고 철학적이라면 사용자 kenorb의 제안이 적절할 수 있습니다.)

— GeoMatt22

흥미로운 질문입니다. 내 생각 엔 NN은 우리가 "효율적인"것으로 생각할 수있는 곳이 없다 Dropout과 같이 일반적으로 사용되는 기술은 실제로 코딩 효율성을 낮추려고합니다.

— kbrose

또 다른 참조 : 복권 티켓 가설은 arxiv.org/abs/1803.03635 하드 작업 서브 네트워크를 찾는 방법에 대한 용지 회담을하지만 효율적인 코딩에 연결이있을 수 있습니다 생각

— kbrose

저는 정보 이론 전문가는 아니지만 NN이하는 효율적인 코딩 간에는 관계가 있다고 생각하지 않으며 효율적인 코딩을 통합하려는 과거 또는 현재의 시도를 알고 있지 않습니다. 그러나 NN이 신호를 효율적으로 인코딩한다는 것은 사실 일 수 있습니다. arxiv.org/abs/1503.02406

— shadowtalker

나는 이것을 아직 해답으로 만들만큼 충분하지는 않지만, 이것은 NN이 실제로 배우기보다는 암기하고 있는지에 대한 질문과 관련이있는 것 같습니다.

— Bill Clark

나는 연결이되었다고 주장 할 수 있다고 믿는다. 소스를 찾을 수 없어서 소스를 게시하지 않은 것에 대해 사과드립니다. 그러나 이것은 Hinton이 발표 한 오래된 슬라이드에서 나왔습니다. 그는 머신 러닝을하는 사람들을위한 기본적인 사고 방식 중 하나 (프레젠테이션이 딥 러닝이라는 단어를 일반적으로 사용한다고 주장하기 때문에)는 데이터를 쉽게 변환 할 수 있도록 최적의 데이터 변환이 존재한다고 주장했다. 배웠다. 나는 백 프롭을 통해 데이터의 '최적의 변환'인 신경망에 대해 효과적인 코딩 가설이 작동한다고 믿는다. 적절한 커널이 제공되는 것과 같은 방식으로, 많은 공간이 선형 모델로 쉽게 분류 될 수 있으며, 데이터를 변환하고 저장하는 적절한 방법을 학습하고 데이터를 표현하기 위해 뉴런이 배열되는 방식과 유사합니다.

— 익명 에뮤
소스