«information-theory» 태그된 질문

통신에 사용되는 것인지 또는 추상적 의미로 정의 된 것인지에 관계없이 채널의 정보 전달 용량을 결정하는 데 사용되는 수학 / 통계의 분기. 엔트로피는 정보 이론가들이 랜덤 변수 예측과 관련된 불확실성을 정량화 할 수있는 수단 중 하나입니다.

2
확률로서의 상호 정보
관절 엔트로피를 통한 상호 정보는 다음과 같습니다. 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 "X에서 Y로 정보를 전달할 확률"? 순진한 것은 유감이지만 정보 이론을 연구 한 적이 없으며 그 개념을 이해하려고 노력하고 있습니다.
2
두 카드의 카드 사이의 상관 관계
오버 핸드 카드 셔플 을 시뮬레이션하는 프로그램을 작성했습니다 . 각 카드는 번호가 매겨지며, 소송 CLUBS, DIAMONDS, HEARTS, SPADES은 2에서 10까지, 그 다음에는 Jack, Queen, King 및 Ace입니다. 따라서 두 클럽의 수는 1, 세 클럽의 수는 2입니다 ..... 에이스 클럽은 13입니다 ... 스페이드 에이스는 52입니다. 카드를 섞는 방법을 결정하는 방법 중 …
2
구성 요소의 수를 선택하기 위해 PCA 적합의 품질을 평가하기위한 좋은 메트릭은 무엇입니까?
주요 성분 분석 (PCA)의 품질을 평가하기위한 좋은 지표는 무엇입니까? 데이터 세트에서이 알고리즘을 수행했습니다. 저의 목표는 기능의 수를 줄이는 것이 었습니다 (정보는 매우 중복되었습니다). 분산의 백분율이 유지하는 정보의 양을 나타내는 좋은 지표라는 것을 알고 있습니다. 중복 정보를 제거하고 그러한 정보를 '손실'하지 않았는지 확인하는 데 사용할 수있는 다른 정보 메트릭이 있습니까?
3
Matlab에서 상호 정보를 사용한 기능 선택
이 강의 노트 (5 페이지)에 설명 된대로 상호 정보 개념을 기능 선택에 적용하려고합니다 . 내 플랫폼은 Matlab입니다. 경험적 데이터에서 상호 정보를 계산할 때 발견되는 한 가지 문제는 숫자가 항상 위쪽으로 편향되어 있다는 것입니다. Matlab Central에서 MI를 계산하기 위해 약 3 ~ 4 개의 다른 파일을 찾았으며 독립적 인 무작위 변수를 …
2
가설 검정 및 총 변동 거리 대 Kullback-Leibler 발산
내 연구에서 나는 다음과 같은 일반적인 문제를 겪었 습니다. 동일한 도메인에 대해 두 개의 분포 PPP 와 QQQ 가 있고 그 분포에서 많은 (그러나 유한 한) 샘플 수가 있습니다. 표본은이 두 분포 중 하나에서 독립적으로 동일하게 분포됩니다 (분포는 관련 될 수 있지만, 예를 들어 QQQ 는 PPP 와 다른 분포 …
3
입력이 조건부 독립적 일 때 하이퍼 플레인은 데이터를 최적으로 분류합니다. 왜 그렇습니까?
딥 러닝 ( Deep Learning) 및 정보 병목 현상 원칙 (Information Bottleneck Principle) 이라는 논문에서 저자는 섹션 II A)에서 다음과 같이 설명합니다. 단일 뉴런은 입력 공간 하이퍼 플레인 만 구현할 수 있으므로 선형으로 분리 가능한 입력 만 분류합니다 . 초평면은 입력이 조건에 맞지 않을 때 데이터를 최적으로 분류 할 수 …
2
상호 정보를 계산할 때 빈 수
상호 정보를 사용하여 두 변수 A와 B 사이의 관계를 수량화하고 싶습니다. 이를 계산하는 방법은 관측 값을 비닝하는 것입니다 (아래 예제 Python 코드 참조). 그러나 어떤 수의 빈이 합리적인지를 결정하는 요인은 무엇입니까? 계산 속도가 빠르므로 많은 쓰레기통을 안전하게 사용할 수 없습니다. from sklearn.metrics import mutual_info_score def calc_MI(x, y, bins): c_xy = …
1
신경망은 효율적인 코딩을 사용합니까?
내 질문은 효율적인 코딩 가설 과 효율적인 네트워크 학습 알고리즘 에 관한 Wikipedia 페이지에 요약 된 효율적인 코딩 가설 간의 관계에 관한 것 입니다. 효율적인 코딩 가설과 신경망의 관계는 무엇입니까? 효율적인 코딩 가설에서 명시 적으로 영감을 얻은 신경망 모델이 있습니까? 아니면 모든 신경망 학습 알고리즘이 적어도 효율적인 코딩에 기반을두고 있다고 …
1
응용 데이터 과학에서 정보 이론의 사용
오늘 저는 제임스 스톤 (James Stone)의 "정보 이론 : 튜토리얼 소개" 라는 책을 읽었 으며 응용 데이터 과학 에서 정보 이론 의 사용 정도에 대해 한두 번 생각했습니다 (여전히 다소 모호한 용어에 익숙하지 않다면, IMHO 데이터 과학이 영화화 된 버전 이라고 생각 합니다 . 나는의 중요한 사용을 잘 알고있어 정보 …
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.