통계 및 빅 데이터 machine-learning

3

간단하게하기 위해 스팸 / 스팸이 아닌 전자 메일의 고전적인 예를 작업하고 있다고 가정하겠습니다. 20000 개의 이메일이 있습니다. 이 중 2000은 스팸이라는 것을 알고 있지만 스팸이 아닌 전자 메일의 예는 없습니다. 나머지 18000이 스팸인지 아닌지를 예측하고 싶습니다. 이상적으로, 내가 찾은 결과는 전자 메일이 스팸 일 확률 (또는 p- 값)입니다. 이 상황에서 …

21 machine-learning predictive-models unsupervised-learning supervised-learning semi-supervised

2

일반 데이터 세트를위한 데이터 확대 기술?

많은 기계 학습 응용 프로그램에서 소위 데이터 보강 방법을 사용하면 더 나은 모델을 만들 수 있습니다. 예를 들어, 고양이와 강아지 의 이미지 훈련 세트를 가정하십시오 . 회전, 미러링, 대비 조정 등을 통해 원래 이미지에서 추가 이미지를 생성 할 수 있습니다.100100100 이미지의 경우, 데이터 확대는 비교적 간단합니다. 그러나 예를 들어 샘플로 …

21 machine-learning predictive-models dataset independence data-augmentation

3

SVD를 공동 필터링 문제에 적용하면 어떻게됩니까? 둘의 차이점은 무엇입니까?

협업 필터링에는 값이 채워지지 않은 값이 있습니다. 사용자가 영화를 보지 않았다고 가정하면 'na'를 넣어야합니다. 이 행렬의 SVD를 가져 오려면 0을 말합니다. 이제 행렬을 분해하면 비슷한 사용자를 찾는 방법이 있습니다. 감소 된 차원 공간). 그러나 사용자가 항목에 대해 예상하는 기본 설정 자체는 0입니다. (알 수없는 열에 입력 한 것이기 때문에). 그래서 …

21 machine-learning svd recommender-system

3

빅 데이터의 첫 번째 단계 (

하루에 수십억 건의 관측치로 거대한 데이터 세트를 분석한다고 가정합니다. 각 관측치에는 수 천 개의 희소하고 중복되는 수치 및 범주 형 변수가 있습니다. 회귀 문제 하나, 불균형 이진 분류 문제 하나 및 "어떤 예측 변수가 가장 중요한지 알아내는 작업"이 있다고 가정하겠습니다. 문제에 접근하는 방법에 대한 내 생각은 다음과 같습니다. 다음과 같은 …

21 r machine-learning data-mining large-data

2

클러스터링 비교 : 랜드 인덱스와 정보의 변형

클러스터링을 비교하기 위해 정보 의 변화 와 랜드 인덱스 의 차이에 대한 통찰력이나 직관이있는 사람이 있는지 궁금 합니다. Marina Melia (Journal of Multivariate Analysis, 2007)의 " 클러스터링 비교-정보 기반 거리 " 라는 논문을 읽었 지만 정의의 차이를 알아 차리는 것 외에는 정보의 변화가 무엇인지 이해하지 못합니다. 랜드 인덱스가 캡처하지 않음을 …

21 machine-learning clustering metric

4

상관 관계와 인과 관계의 차이는 어느 정도까지 Google과 관련이 있습니까?

문맥 이 사이트에서 인기있는 질문은 " 일반적인 통계 죄는 무엇입니까? "입니다. 죄 중 하나는 가정입니다 언급 "상관 관계가 인과 관계를 의미한다 ..." 링크 그런 다음 5 개의 공감대에 대한 의견에서 다음과 같이 제안합니다. "Google은 1 년에 $ 65B의 차이를 신경 쓰지 않습니다." 가벼운 퀴즈를 과도하게 분석 할 위험이 있으므로, 이것이 …

21 machine-learning causality

4

의사 결정 트리는 거의 항상 이진 트리입니까?

내가 본 거의 모든 의사 결정 트리 예제는 이진 트리입니다. 이것은 보편적입니까? 대부분의 표준 알고리즘 (C4.5, CART 등)은 이진 트리 만 지원합니까? 내가 수집 한 것에서 CHAID 는 이진 트리로 제한되지 않지만 예외로 보입니다. 자식 중 하나에 대한 양방향 분할과 다른 양방향 분할은 단일 3 방향 분할과 동일하지 않습니다. 이것은 …

21 machine-learning data-mining cart

2

모델 선택 후 교차 검증 (오류 일반화)

참고 : 사례는 n >> p입니다. 통계 학습의 요소를 읽고 있으며 교차 검증을 수행하는 "올바른"방법에 대한 다양한 언급이 있습니다 (예 : 60 페이지, 245 페이지). 특히, 내 질문은 모델 검색이있을 때 k- 폴드 CV 또는 부트 스트랩을 사용하여 (별도의 테스트 세트없이) 최종 모델을 평가하는 방법입니다. 대부분의 경우 (내장 기능 선택이없는 …

21 machine-learning model-selection data-mining cross-validation

2

학습 알고리즘 중에서 선택하는 방법

일부 훈련 데이터를 기반으로 레코드를 2 가지 범주 (참 / 거짓)로 분류하는 프로그램을 구현해야하며 어떤 알고리즘 / 방법론을보고 있는지 궁금합니다. 인공 신경망, 유전자 알고리즘, 기계 학습, 베이지안 최적화 등 중에서 선택할 수있는 많은 것들이 있으며, 어디서부터 시작 해야할지 모르겠습니다. 내 질문은 : 문제에 사용해야하는 학습 알고리즘을 어떻게 선택해야합니까? 이것이 도움이된다면 …

21 machine-learning bayesian optimization genetic-algorithms

1

미시적 또는 거시적 평가 방법에 따라 결정해야합니까?

동일한 데이터 세트로 다른 이진 분류 알고리즘에서 10 배 교차 검증을 실행했으며 마이크로 및 매크로 평균 결과를 모두 받았습니다. 이것이 다중 레이블 분류 문제라는 점을 언급해야합니다. 필자의 경우, 참 부정과 참 긍정적 가중치는 동일하게 가중됩니다. 즉, 참 긍정을 정확하게 예측하는 것이 참 긍정을 정확하게 예측하는 것과 마찬가지로 중요합니다. 미세 평균 …

21 machine-learning cross-validation

1

어떤 기능이 커널 일 수 있습니까?

기계 학습 및 패턴 인식과 관련하여 Kernel Trick 이라는 개념이 있습니다. 함수가 커널 함수일 수 있는지 여부를 묻는 문제가 발생하면 정확히 어떻게해야합니까? 다항식, RBF 및 가우시안과 같은 3 개 또는 4 개의 커널 함수 형태인지 먼저 확인해야합니까? 그럼 어떻게해야합니까? 그것이 양의 명확한 지 보여 주어야합니까? 누군가가 그러한 문제에 대한 단계별 …

21 machine-learning kernel-trick

3

교육 손실은 시간이 지남에 따라 증가합니다 [중복]

이 질문에는 이미 답변이 있습니다 . 비용 함수의 변화는 어떻게 긍정적일 수 있습니까? (1 답변) 신경망이 학습하지 않으면 어떻게해야합니까? (5 답변) 지난달 휴무 . 4 가지 유형의 시퀀스를 분류하기 위해 모델 (Recurrent Neural Network)을 훈련하고 있습니다. 훈련을 진행할 때 훈련 배치에서 샘플의 90 % 이상을 올바르게 분류 할 때까지 훈련 …

21 machine-learning neural-networks loss-functions rnn training-error

1

히든 마르코프 모델과 입자 필터 (및 칼만 필터)의 차이점

여기 내 오래된 질문이 있습니다 HMM (Hidden Markov) 모델과 PF (Particle Filter)의 차이를 알고 누군가 Kalman Filter 또는 어떤 상황에서 어떤 알고리즘을 사용하는지 알고 싶습니다. 저는 학생이며 프로젝트를해야하지만 먼저 몇 가지를 이해해야합니다. 따라서 참고 문헌에 따르면 둘 다 숨겨진 (또는 잠복 또는 관찰되지 않은) 상태를 포함한 상태 공간 모델 입니다. …

21 machine-learning self-study hidden-markov-model kalman-filter particle-filter

4

데이터가 선형으로 분리 가능한지 어떻게 알 수 있습니까?

데이터에는 많은 기능 (예 : 100)이 있으며 인스턴스 수는 100,000입니다. 데이터가 드물다. 로지스틱 회귀 또는 svm을 사용하여 데이터를 맞추고 싶습니다. 비선형 인 경우 커널 트릭을 사용할 수 있도록 기능이 선형인지 비선형인지 어떻게 알 수 있습니까?

21 machine-learning logistic svm data-mining

2

소프트 플러스에 비해 ReLU를 활성화 기능으로 사용하면 어떤 이점이 있습니까?

정류 선형 단위 (ReLU)는 선형적이고 계산이 빠르기 때문에 softplus 단위를 대체했습니다. 소프트 플러스가 여전히 희소성을 유도하는 이점이 있습니까? 아니면 ReLU로 제한됩니까? 내가 묻는 이유는 ReLU의 제로 기울기의 부정적인 결과에 대해 궁금해하기 때문입니다. 이 속성이 재 활성화 가능성을 제공하는 데 도움이되는 단위를 "트랩"하지 않습니까?

21 machine-learning neural-networks

«machine-learning» 태그된 질문