통계적으로 유의 한 피크 확인

데이터 세트 와 있습니다. 다음과 같은 가설을 테스트하고 싶습니다 . 피크가 있습니다 . 즉, 증가하면 먼저 증가한 다음 감소합니다. $y$ $x$ $y$ $x$ $y$

내 첫 번째 아이디어는 SLR에 와 를 맞추는 것이 었습니다 . 즉, 이전의 계수 가 상당히 양의 값이고 이전의 계수가있는 경우 $x$ $x^2$ $x$ $x^2$ 가 상당히 음인 경우 가설을지지합니다. 그러나 이것은 한 가지 유형의 관계 (이차) 만 검사하며 반드시 피크의 존재를 캡처하지는 않습니다.

그런 다음 의 (정렬 된 값) 와 같은 를 찾는 것을 생각 했습니다 는 와 사이 에 있습니다 두 개의 다른 영역은 적어도 만큼 많은 점을 포함하고 , 그리고 크게. 가설이 사실이라면, 우리는 그러한 많은 영역을 기대해야한다 . . 따라서 의 수가 충분히 크면 가설을 뒷받침해야합니다. $b$ $x$ $b$ $a$ $c$ $x$ $b$ $\bar{y_b}>\bar{y_a}$ $\bar{y_b}>\bar{y_c}$ $b$ $b$

내 가설에 적합한 테스트를 찾기 위해 올바른 길을 가고 있다고 생각하십니까? 아니면 바퀴를 발명하고 있으며이 문제에 대한 확립 된 방법이 있습니까? 귀하의 의견에 크게 감사드립니다.

최신 정보. 내 종속 변수 는 count (음이 아닌 정수)입니다. $y$

regression statistical-significance curves

— 니키타 사모 일 로프
소스

합니까

원활하게 변화

? 그렇다면 더 매끄럽게 (GAM 등) 모형을 피팅 한 다음 적합하게 매끄럽게하는 1 차 미분 값과 신뢰 구간을 계산할 수 있습니다. 도함수가 증가하면 유의미한 경우 감소하면 답이 있습니다.

y

$y$

x

$x$

— 복원 모니카-G. 심슨

답변:

스무딩 아이디어도 생각하고있었습니다. 그러나 잡음이 많은 데이터에서 피크를 검색하는 반응 표면 방법론이라는 전체 영역이 있으며 (주로 데이터에 로컬 2 차 적합을 사용하는 것과 관련이 있음) 제목에 "범프 사냥"이라는 유명한 논문이 있습니다. 다음은 반응 표면 방법론 관련 서적에 대한 링크입니다. Ray Myer의 책은 특히 잘 쓰여져 있습니다. 나는 범프 사냥 종이를 찾으려고 노력할 것이다.

반응 표면 방법론 : 설계된 실험을 사용한 공정 및 제품 최적화

반응 표면 방법론 및 관련 주제

반응 표면 방법론

경험적 모델 구축 및 반응 표면

내가 찾던 기사는 아니지만 여기 있습니다. 이러한 아이디어를 거래 높은 차원 데이터에 적용한다는 제리 프리드먼과 닉 피셔에 의해 매우 관련 문서.

다음은 온라인 의견 이 있는 기사입니다.

그래서 나는 적어도 당신이 내 응답을 주셔서 감사합니다. 나는 당신의 아이디어가 좋고 올바른 길을 가고 있다고 생각하지만 네는 당신이 바퀴를 재발 명 할 것이라고 생각합니다. 나는 당신과 다른 사람들 이이 훌륭한 참고 자료를 볼 수 있기를 바랍니다.

— 마이클 R. 체 르닉
소스

나는 downvoters 중이 아니었지만 SE 사이트의 답변은 내용에 대한 링크 이상일 것으로 예상됩니다. 내용을 요약하거나 요약 응답을 제공 한 다음 자세한 내용을 보려면 내용에 연결하는 것이 좋습니다.

— 복원 모니카-G. 심슨

나는 (1) 좋은 생각을 제시하기 때문에 이것을지지한다. (2) 약간의 논평이있다. 그리고 (3) 자유롭게 이용할 수있는 자료를 포함하여 엄선 된 일부 링크로 지원됩니다. 예, 링크의 형식이 더 좋기 때문에 인쇄 상으로는 나쁘게 보입니다. 그러나 투표 결정에 사람들이 그 답변의 측면을 크게 평가하지 않기를 바랍니다!

— whuber

@ whuber Procastinator의 멋진 형식으로 인해 명확하게 읽은 후에 동의합니다. +1도. 나는 여기에 충분한 요약이 있고 일부 주제는 근본적인 아이디어와 추가 독서를위한 참조 이상으로 거의 복잡하지 않다고 생각합니다.

— Erik

비판하지 않았다 @MichaelChernick 주 에서 사람들이 투표를 아래로 한 이유 나, 그냥 이유를 제공합니다. PRIM과 관련하여 귀하의 답변이 제자리에 있다고 생각하기 때문입니다. 나는 단지 PRIM에 대해 말한 내용에 대해 Hastie et al (2009) 과 협의 했습니다. PRIM에 두 개의 섹션이 있으며 PDF를 무료로 사용할 수 있으므로 해당 링크를 답변에 추가 할 수 있습니다.

— 복원 모니카-G. 심슨

@Nikita 테스트하려는 공식 통계 가설은 무엇입니까? 먼저 이것의 큰 부분 인 봉우리를 찾아야합니다. 피크가 잡음의 결과가 아니라고 테스트하고 있습니까? 이 문제를 해결하기 위해 어떤 문헌이 있는지 잘 모르겠지만, 다항식 회귀를 데이터 (아마도 2 차)에 맞출 수 있다고 생각합니다. 그로부터 잔차 분산의 추정치를 얻게됩니다. 2 차 항의 통계적 유의성은 피크의 유의성 검정입니다.

— Michael R. Chernick

내 질문에 대답하지 않았지만 내 추측이 옳다면 주파수 영역에서 스펙트럼이 평평하다는 것을 나타내는 백색 노이즈 테스트를 찾고 있습니다. 따라서이 참고 문헌에서 Fisher 's kappa라고하는 Fisher의 주기도 테스트를 사용할 수 있습니다. 링크를 참조하십시오.

http://www4.stat.ncsu.edu/~dickey/Spain/pdf_Notes/Spectral2.pdf

Bartlett의 테스트도 참고 문헌에 언급되어 있습니다. 이제 귀무 가설을 기각하면 주기도에서 중요한 피크를 찾는 데 도움이됩니다. 이는 시계열에주기적인 구성 요소가 존재 함을 의미합니다.

테스트는 주파수 영역에 있고 주기도 좌표를 포함하기 때문에, 세로 좌표는 귀무 가설 하에서 카이 제곱 분포를 가지며 독립적입니다. 이 특별한 분포는 주파수 영역으로의 변환 때문에 발생합니다. x가 시간이면 시간 영역에서 작동하지 않거나 일반적으로 y에 대한 분포는 독립 카이 제곱이 아닙니다.

$_m$

— 마이클 R. 체 르닉
소스

이 웹 사이트에서 더 많이 질문할수록 화이트 노이즈 테스트와 질문에 충분한 정보를 제공해야 할 필요성에 대해 더 많이 배우게됩니다. 귀하의 질문에 신속하게 답변하지 않아 죄송합니다. 오차가 정상적으로 분포 될 때 잔차에 대한 백색 잡음 테스트가 적합하다고 생각하지만 내 종속 변수

y

$y$ 실제로 계산됩니다. 따라서 어떤 경우에도 잔차에서 백색 잡음이 발생하지 않을 것으로 예상됩니다. 아니면 뭔가 빠졌습니까?

— Nikita Samoylov

y는 카운트 데이터이고 xa 연속 설명 변수는 무엇입니까? 이전의 제안은 아마도 그 경우에는 없지만 카운트 모델에 대한 최근 문헌이 많이 있습니다. 따라서 데이터에 대해 좀 더 구체적 일 수 있고 문제는 해결책을 가리킬 수 있습니다.

— Michael R. Chernick

예,

y

$y$ 카운트

x

$x$ 연속적이지만 음이 아닙니다. 어떤 다른 정보가 중요한지 확실하지 않습니다.

— Nikita Samoylov

이것이 도움이 될지 확실하지 않지만 Cameron과 Trivedi는 카운트 회귀 모델에 관한 책을 출판했으며 2013 년에 두 번째 판이 나옵니다. cameron.econ.ucdavis.edu/racd/count .html

— Michael R. Chernick