선형, 지수 및 로그 함수에서 최적 피팅 곡선 피팅 함수 결정

문맥:

Mathematics Stack Exchange (프로그램을 작성할 수 있습니까?) 에 대한 질문에서 누군가 점 세트 를 가지고 있으며 선형, 지수 또는 로그에 곡선을 맞추고 싶습니다. 일반적인 방법은 다음 중 하나를 선택하여 시작하고 (모델 지정) 통계 계산을 수행하는 것입니다.$x-y$

그러나 실제로 원하는 것은 선형, 지수 또는 대수에서 '최상의'곡선을 찾는 것입니다.

표면 상으로, 세 가지를 모두 시도하고 최상의 상관 계수에 따라 세 가지에 가장 잘 맞는 곡선을 선택할 수 있습니다.

그러나 어떻게 든 나는 이것이 꽤 정숙하지 않다고 생각합니다. 일반적으로 받아 들여지는 방법은 모델을 먼저 선택한 다음 세 가지 중 하나 (또는 ​​다른 링크 함수)를 선택한 다음 데이터에서 계수를 계산하는 것입니다. 그리고 무엇보다도 최고의 사실을 따는 것은 체리 따기입니다. 그러나 데이터에서 함수 또는 계수를 결정하는지 여부는 여전히 동일한 것입니다. 절차는 가장 좋은 것을 발견하는 것입니다 (어떤 함수가-또한 다른 계수가 발견되는지 말하십시오).

질문 :

• 적합 통계를 비교하여 선형, 지수 및 로그 모델 중에서 가장 적합한 적합 모델을 선택하는 것이 적절합니까?
• 그렇다면 가장 적합한 방법은 무엇입니까?
• 회귀가 함수에서 매개 변수 (계수)를 찾는 데 도움이되는 경우, 3 개의 곡선 패밀리 중 가장 적합한 곡선을 선택할 수있는 불연속 매개 변수가없는 이유는 무엇입니까?

• Eureqa 라는 무료 소프트웨어를 확인하고 싶을 수도 있습니다 . 주어진 기능 관계의 기능적 형태와 매개 변수를 찾는 프로세스를 자동화하는 구체적인 목표를 가지고 있습니다.
• 매개 변수 수가 다른 모델을 비교하는 경우 일반적으로 더 많은 매개 변수로 모델에 불이익을주는 적합도를 사용하려고합니다. 모델 비교에 적합 척도가 가장 적합한 풍부한 문헌이 있으며 모델이 중첩되지 않은 경우 문제가 더 복잡해집니다. 귀하의 시나리오를 고려할 때 다른 사람들이 가장 적합한 모델 비교 지수라고 생각하는 것을 듣고 싶습니다. (부수적으로 최근 커브 피팅을 위해 모델을 비교할 때 모델 비교 지수에 대한 내 블로그 에 대한 토론 이있었습니다 ).
• 내 경험상 비선형 회귀 모델은 주어진 데이터에 순수한 통계적 적합을 넘어서는 이유로 사용됩니다.
  1. 비선형 모델은 데이터 범위를 벗어난 더 정확한 예측을합니다.
  2. 비선형 모델은 동등한 적합을 위해 더 적은 매개 변수를 요구합니다
  3. 비선형 회귀 모델은 종종 사전 연구와 이론지도 모델 선택이 상당한 영역에 적용됩니다.

이것은 매우 다양한 영역에서 유효한 질문입니다.

가장 좋은 모델은 모수 추정 중에 사용되지 않은 데이터 포인트를 예측할 수있는 모델입니다. 이상적으로는 데이터 세트의 서브 세트로 모델 매개 변수를 계산하고 다른 데이터 세트에 대한 적합 성능을 평가합니다. 세부 사항에 관심이있는 경우 "교차 유효성 검증"을 사용하여 검색하십시오.

첫 번째 질문에 대한 답은 "아니오"입니다. 최상의 피팅 모델을 단순히 취할 수는 없습니다. N 차 ~ N 데이터 포인트의 다항식을 피팅하는 이미지. 모든 모델이 모든 데이터 포인트를 정확하게 전달하기 때문에 이것은 완벽하게 적합합니다. 그러나이 모델은 새 데이터로 일반화되지 않습니다.

내가 말할 수있는 한, 가장 적절한 방법은 모델의 잔차 진폭과 매개 변수 수를 동시에 처벌하는 메트릭을 사용하여 모델이 다른 데이터 세트로 일반화 할 수있는 양을 계산하는 것입니다. AIC와 BIC는 내가 알고있는 이러한 지표 중 일부입니다.

많은 사람들이 일상적으로 데이터에 대한 다양한 곡선의 적합성을 탐색하기 때문에 예약이 어디에서 왔는지 모르겠습니다. 물론, 2 차는 적어도 선형뿐만 아니라 3 차, 2 차는 물론 항상 적합 할 것이라는 사실이 있으므로, 이러한 비선형 항을 더하는 것의 통계적 유의성을 테스트하는 방법이 있습니다. 불필요한 복잡성을 피하십시오. 그러나 다양한 형태의 관계를 테스트하는 기본 관행은 좋은 습관입니다. 실제로 매우 유연한 황토 회귀 분석으로 시작하여 가장 적합한 종류의 곡선이 무엇인지 알 수 있습니다.

데이터로 이끄는 과학 / 이론과 데이터가 알려주는 것 사이의 균형을 찾아야합니다. 다른 사람들이 말했듯이, 자신이 가능한 변형 (모든 정도의 다항식 등)에 적합하게하면 지나치게 적합하고 쓸모없는 것을 얻습니다.

이를 확신시키는 한 가지 방법은 시뮬레이션을 통하는 것입니다. 모형 중 하나 (선형, 지수, 로그)를 선택하고이 모형을 따르는 데이터를 생성합니다 (매개 변수 선택). y 값의 조건부 분산이 x 변수의 확산에 비해 작 으면 간단한 도표를 통해 어떤 모델이 선택되었고 "진실"이 무엇인지 알 수 있습니다. 그러나 도표에서 명확하지 않은 매개 변수 세트를 선택하는 경우 (아마도 분석 솔루션이 관심있는 경우) 세 가지 방법 각각을 분석하고 어느 것이 "최적"적합을 제공하는지 확인하십시오. "최상의"적합이 종종 "진정한"적합하지 않다는 것을 알게 될 것입니다.

반면에, 우리는 때때로 데이터가 가능한 한 많은 것을 알려주기를 원하며 관계의 본질을 완전히 결정하는 과학 / 이론이 없을 수도 있습니다. Box and Cox (JRSS B, vol. 26, no. 2, 1964)의 원본 논문은 y 변수의 여러 변환을 비교하는 방법에 대해 설명합니다. 주어진 변환 세트는 선형이고 로그는 특수한 경우 (지수는 아님) , 그러나 논문 이론상 어느 것도 당신이 그들의 변환 가족으로 만 제한하지는 않지만, 동일한 방법론을 확장하여 관심있는 3 가지 모델을 비교할 수 있습니다.