통계 및 빅 데이터 eda

24

나는에 G 반 벨의 책처럼 엄지 손가락의 통계 규칙 , 그리고 정도는 덜 통계의 일반적인 오류 (및이를 방지하는 방법) 필립 나는 좋은 제임스 W. 하딘에서. 실험 및 관찰 연구 결과를 해석 할 때의 일반적인 함정을 다루고 통계적 추론 또는 탐색 적 데이터 분석에 대한 실제 권장 사항을 제공합니다. 그러나 나는 …

85 modeling eda rule-of-thumb

6

EFA 대신 PCA를 사용해야 할 이유가 있습니까? 또한 PCA가 요인 분석을 대신 할 수 있습니까?

일부 분야에서는 PCA (주성분 분석)가 정당화없이 체계적으로 사용되며 PCA와 EFA (탐사 계수 분석)는 동의어로 간주됩니다. 따라서 최근 PCA를 사용하여 규모 검증 연구 결과 (각 7 개 항목의 3 가지 요소를 구성하는 것으로 추정되는 7 점 리 커트 척도의 21 개 항목)를 분석했으며, 검토자가 EFA 대신 PCA를 선택한 이유를 묻습니다. 두 …

73 pca factor-analysis eda

8

Tukey의 탐색 적 데이터 분석의 현대 후계자?

Tukey의 저서 "탐색 데이터 분석"을 읽었습니다. 1977 년에 쓰여진이 책은 종이 / 연필 방법을 강조합니다. 이제 대규모 데이터 세트를 즉시 플롯 할 수 있다는 점을 고려한 '현대적인'후계자가 있습니까?

52 data-visualization references descriptive-statistics eda

8

R의 그래픽 데이터 개요 (요약) 기능

나는 전에 R 패키지에서 이와 같은 기능을 보았을 것이라고 확신하지만 광범위한 인터넷 검색 후에는 어디서나 찾을 수없는 것 같습니다. 내가 생각하고있는 함수는 주어진 변수에 대한 그래픽 요약을 생성하여 일부 그래프 (히스토그램 및 상자 및 수염 그림)와 출력, 평균, SD 등과 같은 세부 정보를 제공하는 텍스트를 생성했습니다. 이 함수가 기본 R에 …

39 r data-visualization descriptive-statistics eda

5

데이터 "탐사"와 데이터 "스누핑"/ "고문"?

여러 번 나는 "데이터 스누핑"에 대한 비공식적 인 경고를 겪었으며 (여기서는 재미있는 예가있다 ), 그것이 의미하는 바가 무엇이고 왜 그것이 문제가 될 수 있는지에 대한 직관적 인 생각이 있다고 생각한다. 다른 한편으로, "탐사 데이터 분석"은 적어도 그 제목 을 가진 책 이 여전히 고전적인 것으로 인용 된다는 사실에 의해 판단 …

30 multiple-comparisons interpretation eda

4

사이언스 저널은 '정원 정원 분석'을 승인 했습니까?

적응 형 데이터 분석 의 개념은 데이터에 대해 자세히 알아볼 때 데이터 분석 계획을 변경하는 것입니다. 탐색 적 데이터 분석 (EDA)의 경우, 이것은 일반적으로 좋은 생각입니다 (데이터에서 예기치 않은 패턴을 찾는 경우가 많지만). 단계는 명확하게 정의되고 고급으로 적절히 계획됩니다). 즉, 적응 형 데이터 분석 은 일반적으로 통계학 자의 불만에 대해 …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

2

소 표본 연구에서 탐색 적 데이터 분석 및 데이터 준설에 대처하는 방법은 무엇입니까?

탐색 적 데이터 분석 (EDA)은 종종 초기 가설 세트에 속하지 않는 다른 "트랙"을 탐색하게한다. 나는 제한된 표본 크기와 다른 설문지 (사회 인구 통계학 데이터, 신경 심리학 또는 의료 규모-정신 또는 신체 기능, 우울증 / 불안 수준, 증상 검사 목록)를 통해 수집 된 많은 데이터를 가진 연구의 경우 그러한 상황에 직면합니다. …

25 multiple-comparisons epidemiology small-sample eda

5

순전히 예측 모델링을 수행 할 때 탐색 적 데이터 분석이 중요합니까?

기계 학습 기술을 사용하여 예측 모델을 구축 할 때 탐색 적 데이터 분석 (EDA)의 요점은 무엇입니까? 기능 생성 및 모델 작성으로 바로 넘어가도 되나요? EDA에서 사용되는 기술 통계량은 어떻게 중요합니까?

23 machine-learning predictive-models descriptive-statistics eda

6

탐색 적 데이터 분석에서 텍사스의 명사수

나는 데이터 분석의 맥락에서 일부 오류가 설명되는 Nature 에서이 기사를 읽었습니다 . 텍사스 샤프 슈터 오류는 피하는 것이 특히 어렵다는 것을 알았습니다. 데이터 분석 중에 기다리는인지 적 함정은 텍사스 샤프 슈터의 우화에 의해 설명됩니다 : 헛간 측면에서 임의의 총알 패턴을 발사하고 가장 큰 총알 구멍 덩어리 주위에 표적을 그리고 그의 …

23 eda fallacy

5

Casella & Berger 이후에 무엇을 배워야합니까?

저는 응용 수학에 대한 배경 지식이없는 순수한 수학 대학원생입니다. 지난 가을부터 나는 Casella & Berger의 책에서 수업을 들었고,이 책에서 운동 문제의 페이지 수백 (230+)을 마쳤습니다. 지금 나는 10 장에 있습니다. 그러나 통계학을 전공하지 않았거나 통계학자가 될 계획이 없었기 때문에 데이터 분석을 계속 배우기 위해 정기적으로 시간을 투자 할 수는 없다고 …

22 distributions references eda

5

대규모 데이터 세트에 대한 탐색 적 분석을 유지하는 방법은 무엇입니까?

큰 데이터 세트 (많은 샘플, 많은 변수)에 대한 탐색 적 분석을 시작할 때 종종 수백 개의 파생 변수와 톤의 다른 플롯으로 나 자신을 발견하며 실제 상황을 추적 할 수있는 방법이 없습니다. 처음부터 방향이 없기 때문에 코드는 스파게티처럼 끝납니다. 탐색 적 분석을 깔끔하고 깔끔하게 유지하기 위해 권장되는 방법이 있습니까? 특히, 여러 …

22 eda project-management

1

PCA / 대응 분석에서 "말발굽 효과"및 / 또는 "아치 효과"란 무엇입니까?

다차원 데이터의 탐색 적 데이터 분석을위한 생태 통계에는 많은 기술이 있습니다. 이것을 '조정'기술이라고합니다. 대부분 통계의 다른 곳에서 공통 기술과 동일하거나 밀접하게 관련되어 있습니다. 아마도 프로토 타입 예제는 주성분 분석 (PCA) 일 것입니다. 생태 학자들은 PCA와 관련 기술을 사용하여 '그라데이션'을 탐색 할 수 있습니다 (그라데이션이 무엇인지 완전히 명확하지는 않지만 조금 그것에 …

20 pca eda ecology correspondence-analysis

8

"랩 노트북"소프트웨어에 대한 아이디어가 있습니까?

따라서 이것은 어떤 사이트에도 적합하지 않다고 생각하지만, 데이터를 잘 다루는 형제들 사이에서 여기서 시도해 볼 것이라고 생각했습니다. 나는 생물학에서 역학 및 생물 통계학에 왔으며, 여전히 그 분야의 습관이 있습니다. 그중 하나는 랩 노트북을 유지하는 것입니다. 분석, 생각, 결정, 분석에 관한 생각 등을 문서화하는 데 유용합니다. 한 곳에서 커밋 된 모든 …

20 references software eda

2

탐색 적 데이터 분석을 수행하여 적절한 머신 러닝 알고리즘을 선택하는 방법

우리는 기계 학습 : 확률 적 관점 (Kevin Murphy)을 통해 기계 학습을 공부하고 있습니다. 텍스트는 각 알고리즘의 이론적 기초를 설명하지만 어떤 경우에 어떤 알고리즘이 더 낫다는 것을 거의 말하지 않으며, 어떤 알고리즘이 더 나은지에 대해서는 말하지 않습니다. 예를 들어, 커널을 선택하기 위해 데이터의 복잡성을 측정하기 위해 탐색 적 데이터 분석을 …

16 machine-learning eda

5

많은 데이터를 그래픽으로 표시하는 좋은 방법

주택 데이터에 대한 14 개의 변수와 345,000 개의 관찰 (연도, 평방 피트, 판매 가격, 거주지 등)을 포함하는 프로젝트를 진행하고 있습니다. 좋은 그래픽 기술과 멋진 플로팅 기술을 포함하는 R 라이브러리를 찾으려고 노력하고 있습니다. 나는 ggplot과 격자에서 무엇이 잘 작동하는지 이미보고 있으며, 숫자 변수에 대한 바이올린 플롯을 생각하고 있습니다. 사람들이 명확하고 세련되며 …

15 r data-visualization large-data eda

«eda» 태그된 질문