통계 및 빅 데이터

나는 측면에서 베이 즈 이론의 이해를 기반으로 직관을 개발하기 위해 노력했습니다 전 , 후방 , 가능성 과 한계 확률을. 이를 위해 다음 방정식을 사용합니다. P(B|A)=P(A|B)P(B)P(A)P(B|A)=P(A|B)P(B)P(A)P(B|A) = \frac{P(A|B)P(B)}{P(A)} 여기서AAA는 가설 또는 신념을나타내고BBB는 데이터 또는 증거를 나타냅니다. 나는의 개념을 이해 한후방- 그것은 통일 기업의 그 결합이전에믿음과가능성이벤트. 내가 이해하지 못하는 것은가능성이 무엇을의미 하는가? …

22 bayesian  likelihood  intuition 

나는 현재 시맨틱 세그먼테이션 / 인스턴스 세그먼테이션을위한 이미지 데이터에 대해 컨볼 루션 신경망 (Convolutional Neural Networks, CNN)과 함께 일 해왔다. 필자는 종종 네트워크 출력의 소프트 맥스를 "히트 맵"으로 시각화하여 특정 클래스의 픽셀 당 활성화가 얼마나 높은지를 확인했습니다. 나는 낮은 활성화를 "불확실한"/ "자신감없는"것으로 해석하고 높은 활성화를 "확실한"/ "자신감있는"예측으로 해석했습니다. 기본적으로 이것은 …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

변수 를 로 되돌리고 싶습니다 . 원시 다항식 또는 직교 다항식을 사용하여이 작업을 수행해야합니까? 나는 이것들을 다루는 사이트에서 질문을 보았지만 그것들을 사용하는 것의 차이점이 무엇인지 실제로 이해하지 못한다. 와이와이yx , x2, ... , x5엑스,엑스2,…,엑스5x,x^2,\ldots,x^5 왜 난 그냥 계수를 얻기 위해 "정상"회귀 할 수 없습니다 의β나는β나는\beta_iy=∑5i=0βixi와이=∑나는=05β나는엑스나는y=\sum_{i=0}^5 \beta_i x^i (P-값과 다른 모든 …

22 r  regression  polynomial 

기계 학습에서 동일한 정보를 효과적으로 인코딩하기 때문에 데이터 세트에 상관 관계가 높은 기능이 있으면 문제가 될 수 있습니다. 최근 누군가 범주 형 변수에 대해 원핫 인코딩을 수행하면 관련 기능이 생겨서 그 중 하나를 "참조"로 삭제해야한다고 지적했습니다. 예를 들어 성별을 두 변수로 인코딩하면 is_male과 is_female음의 상관 관계를 갖는 두 가지 기능이 …

22 regression  machine-learning  categorical-data  discrete-data  categorical-encoding 

비트 자동 인코더를 실험하고 있으며 tensorflow를 사용하여 MNIST 데이터 세트를 재구성하는 모델을 만들었습니다. 내 네트워크는 매우 간단합니다. X, e1, e2, d1, Y. 여기서 e1과 e2는 인코딩 레이어이고 d2와 Y는 디코딩 레이어입니다 (Y는 재구성 된 출력). X는 784 개, e1은 100, e2는 50, d1은 다시 100, Y 784를 다시 갖습니다. 레이어 …

22 mse  autoencoders  tensorflow  cross-entropy 

예를 들면, R상기 MASS::mvrnorm()함수는 다양한 통계 것을 입증하는 데이터를 생성하는 데 유용하다. Sigma변수의 공분산 행렬을 지정하는 대칭 행렬 인 필수 인수가 필요 합니다. 임의의 항목 으로 대칭 행렬을 어떻게 만듭니 까?n × nn×nn\times n

22 r  random-generation  covariance-matrix 

PCA (Principal Component Analysis)는 기본적으로 단면 데이터에 적용 할 수 있음을 이해합니다. 연도를 시계열 변수로 지정하고 PCA를 정상적으로 실행하여 PCA를 시계열 데이터에 효과적으로 사용할 수 있습니까? 동적 PCA가 패널 데이터에 대해 작동하고 Stata의 코딩이 시계열이 아닌 패널 데이터에 맞게 설계된다는 것을 알았습니다. 시계열 데이터에서 작동하는 특정 유형의 PCA가 있습니까? 최신 …

22 time-series  pca 

설명적인 '거짓 양성'에서 정수 '1'까지 간접적 인 수준의 간접적 인 도입의 동기는 무엇입니까? '거짓 양성'이 너무 길습니까?

21 terminology  frequentist  type-i-and-ii-errors 

이것은 운영 체제 및 선형 대수와 관련하여 다른 SE 사이트에서 요청되었지만 통계와 기계 학습에 사용되는 커널 방법과 관련하여 동일한 질문으로 버그가 발생합니다. 커널 밀도 추정 또는 SVM과 같은 커널은 일종의 유사성을 나타내지 만 '커널'이라는 이름의 유래와 그 상징성이 무엇인지 알 수 없습니다. 통계와 기계 학습의 맥락에서 커널의 어원은 무엇입니까? 분명히, …

21 terminology 

나는 일반적인 Google 검색 등을 시도했지만 내가 찾은 대부분의 답변은 Python 또는 C ++과 같은 다소 모호하거나 언어 / 라이브러리에 고유 stdlib.h합니다. 라이브러리의 특성이 아닌 언어에 구애받지 않고 수학적인 답을 찾고 있습니다. 예를 들어, 시드는 난수 생성기의 시작점 이며 동일한 시드는 항상 동일한 난수를 생성 한다고 말합니다 . 무슨 뜻이에요? …

21 random-generation 

다음과 같은 숫자가 있다고 가정 해 봅시다. 4,3,5,6,5,3,4,2,5,4,3,6,5 5 개 중 일부를 샘플링하고 5 개 샘플의 합을 계산합니다. 그런 다음 반복해서 반복하여 많은 합계를 얻습니다. 그리고 히스토그램으로 합계 값을 플로팅합니다. 중앙 한계 정리로 인해 가우시안이됩니다. 그러나 그들이 숫자를 따를 때, 나는 방금 4를 큰 숫자로 바꿨습니다. 4,3,5,6,5,3,10000000,2,5,4,3,6,5 이것들로부터 5 개의 …

21 central-limit-theorem 

일부 출처는 우도 함수가 조건부 확률이 아니라고 말합니다. 이것은 나에게 매우 혼란 스럽다. 내가 본 대부분의 출처에 따르면, 매개 변수 를 갖는 분포 의 가능성 은 샘플이 주어질 확률 질량 함수의 곱이어야합니다 .n x iθθ\thetannnxixix_i L ( θ ) = L ( x1, x2, . . . , x엔; θ …

21 probability  bayesian  conditional-probability  likelihood  frequentist 

두 개의 값 A와 B가 모두 C의 백분율로 표시되고 A와 B의 크기 차이를 백분율 D로 표현하려는 경우 D를 C의 백분율로 표현하는 것이 더 정확합니까? 또는 B (또는 실제로 A)의 백분율로? 여기서 '%'는 '25 명의 실업자 중 % '를 의미하기 때문에 50 명의 실업자 수는 분명히 25 명의 실업자 수보다 50 …

21 terminology  percentage 

회의에서 나는 다음 진술을 들었다. 5 명의 피험자에 대한 100 회 측정은 100 명의 피험자에 대한 5 회 측정보다 훨씬 적은 정보를 제공합니다. 이것이 사실이라는 것은 분명하지만, 어떻게 수학적으로 증명할 수 있는지 궁금합니다. 선형 혼합 모델을 사용할 수 있다고 생각합니다. 그러나 나는 그것들을 추정하는 데 사용되는 수학에 대해 많이 모른다. …

21 mixed-model  variance  repeated-measures  sample-size  intraclass-correlation 

효과 크기 에 관한 Wikipedia의 기사에서 제기 된 주장이 궁금 합니다 . 구체적으로 : [...] 널이 아닌 통계 비교는 모집단 효과 크기가 정확히 0이 아닌 한 항상 통계적으로 유의미한 결과를 표시합니다. 나는 이것이 그것을 의미하는 것이 무엇인지, 확실하지 않다. 결국 효과는 통계, 즉 자체 분포를 가진 표본에서 계산 된 값이라고 …

21 hypothesis-testing