나는 그들 사이의 공식적인 차이점을 알고 있습니다. 내가 알고 싶은 것은 하나를 사용하는 것이 더 관련성이 높은시기입니다. 그들은 주어진 분류 / 탐지 시스템의 성능에 대한 보완적인 통찰력을 항상 제공합니까? 예를 들어 종이로 두 가지를 모두 제공하는 것이 합리적입니까? 하나 대신에? 분류 시스템에 대한 ROC 및 정밀 리콜의 관련 측면을 캡처하는 …
이진 로지스틱 회귀 모델의 수작업으로 곡선 아래 면적 (AUC) 또는 c- 통계량을 계산하는 데 관심이 있습니다. 예를 들어, 유효성 검사 데이터 집합에서 종속 변수에 대한 실제 값, 보존 (1 = 유지; 0 = 유지되지 않음)은 다음과 같은 모형을 사용하여 회귀 분석에 의해 생성 된 각 관측치의 예측 보존 상태를 갖습니다. …
ROC 곡선을 이해하는 데 문제가 있습니다. 트레이닝 세트의 각 고유 서브 세트에서 다른 모델을 빌드하고이를 사용하여 확률을 생성 할 경우 ROC 곡선 아래 영역의 장점 / 개선이 있습니까? 예를 들어, 에 값이 있고 1-4 번째 값과 8-9 번째 값을 사용하여 모델 를 작성 남은 열차 데이터를 사용하여 모델 를 빌드하십시오 …
정상 및 종양 세포를 구별하는 데 사용할 수있는 테스트 데이터가 있습니다. ROC 곡선에 따르면이 목적에 적합하게 보입니다 (곡선 영역은 0.9입니다). 내 질문은 : 이 시험의 차단 점과 측정 값이 모호한 것으로 판단되는 신뢰 구간을 결정하는 방법은 무엇입니까? 이것을 시각화하는 가장 좋은 방법은 무엇입니까 ggplot2? ROCR및 ggplot2패키지를 사용하여 그래프를 렌더링 합니다. …
나는 많은 예측 변수가있는 분류 작업을 가지고 있는데 (그중 하나가 가장 유익합니다) MARS 모델을 사용하여 분류기를 구성하고 있습니다 (나는 간단한 모델에 관심이 있으며 설명을 위해 glms를 사용하는 것은 다음과 같습니다) 미세 너무). 이제 훈련 데이터 (각 양성 샘플에 대해 약 2700 개의 음성 샘플)에 큰 클래스 불균형이 있습니다. Information Retrieval …
ROC의 AUC (Area Under Curve)와 전체 정확도에 대해 약간 혼란 스럽습니다. AUC가 전체 정확도에 비례합니까? 다시 말해, 전체 정확도가 클 때 AUC가 커질까요? 또는 정의상 양의 상관 관계가 있습니까? 그것들이 양의 상관 관계에있는 경우, 왜 우리는 일부 출판물에서 두 가지를 모두보고해야 하는가? 실제로 분류 작업을 수행 한 결과는 다음과 같습니다. …
AIC (Akaike Information Criterion)와 c- 통계량 (ROC 곡선 아래 면적)은 로지스틱 회귀 분석에 적합한 모형의 두 가지 측정치입니다. 두 측정 결과가 일치하지 않을 때 진행 상황을 설명하는 데 문제가 있습니다. 나는 그들이 모델 적합의 약간 다른 측면을 측정하고 있다고 생각하지만, 그 특정 측면은 무엇입니까? 3 가지 로지스틱 회귀 모형이 있습니다. …
두 개의 분류 기가 있습니다 A : 순진한 베이지안 네트워크 B : 트리 (단일 연결) 베이지안 네트워크 정확성 및 기타 측정 측면에서 A는 B보다 상대적으로 성능이 좋지 않지만 R 패키지 ROCR 및 AUC를 사용하여 ROC 분석을 수행하면 A의 AUC가 B의 AUC보다 높은 것으로 나타났습니다. 사고? 진 양성 (tp), 위양성 (fp), …
나는 최근 경쟁 요구 사항에 따라 roc auc 점수가 사용되는 Kaggle 경쟁을 완료했습니다. 이 프로젝트 이전에는 일반적으로 f1 점수를 메트릭으로 사용하여 모델 성능을 측정했습니다. 앞으로이 두 지표 중에서 어떻게 선택해야하는지 궁금합니다. 언제 어떤 것을 사용해야하며 각각의 장단점이 무엇입니까? Btw, 나는 기사를 읽었습니다. AUC와 F1 점수의 차이점은 무엇입니까? 그러나 언제 어느 …
토론 : 이진 분류에 대한 roc 곡선을 생성하는 방법에 대해서는 혼란이 "이진 분류기"(2 개의 클래스를 분리하는 분류기 임)가 양의 "이산 분류기"( ANN 또는 Bayes 분류기와 같은 연속 출력이 아닌 SVM과 같은 개별 출력 0/1) 따라서 ROC가 "이진 연속 분류기"에 대해 표시되는 방법에 대한 논의가 이루어졌으며 그 결과는 출력이 정렬됩니다. 출력이 …
아래 이미지는 위양성 비율과 실제 양의 비율의 연속 곡선을 보여줍니다. 그러나 내가 즉시 얻지 못하는 것은 이러한 요율이 계산되는 방법입니다. 메소드가 데이터 세트에 적용되는 경우 특정 FP 속도 및 특정 FN 속도가 있습니다. 이것이 각 방법이 곡선이 아닌 단일 점을 가져야한다는 것을 의미하지 않습니까? 물론 방법을 구성하고 여러 가지 다른 …
전문 이것은 긴 글입니다. 이 내용을 다시 읽는다면 배경 자료는 동일하게 유지되지만 질문 부분을 수정했습니다. 또한 문제에 대한 해결책을 고안했다고 생각합니다. 해당 솔루션은 게시물 하단에 나타납니다. 내 원래 솔루션 (이 게시물에서 편집; 해당 솔루션의 편집 기록 참조)이 반드시 바이어스 된 추정치를 생성했음을 지적한 CliffAB에게 감사합니다. 문제 기계 학습 분류 문제에서 …