“일부 테스트 사례 시도”휴리스틱을 속이는 방법 : 올바르게 보이지만 실제로는 잘못된 알고리즘

어떤 문제에 대한 알고리즘이 올바른지 테스트하기 위해 일반적인 출발점은 여러 간단한 테스트 사례에서 직접 알고리즘을 실행하는 것입니다. 몇 가지 간단한 "코너 사례를 포함하여 몇 가지 예제 인스턴스에서 시도해보십시오. ". 이것은 휴리스틱입니다. 알고리즘에 대한 많은 잘못된 시도를 신속하게 제거하고 알고리즘이 작동하지 않는 이유를 이해하는 데 좋은 방법입니다.

그러나 알고리즘을 학습 할 때 일부 학생들은 여기서 그만두려고합니다. 시도 할 수있는 모든 경우를 포함하여 소수의 예제에서 알고리즘이 올바르게 작동하면 알고리즘이 정확해야한다는 결론을 내립니다. "여러 가지 테스트 사례에서 알고리즘을 시도 할 수 있다면 왜 알고리즘을 올바르게 증명해야합니까?"라고 묻는 학생이 항상 있습니다.

그렇다면 "다양한 테스트 사례를 시도하십시오"휴리스틱을 어떻게 속이겠습니까? 이 휴리스틱이 충분하지 않다는 것을 보여줄 좋은 예를 찾고 있습니다. 다시 말해서, 나는 그것이 겉으로는 정확할 것으로 보이는 알고리즘의 하나 이상의 예를 찾고 있으며, 누군가가 생각해 낼 수있는 모든 작은 입력에 대해 올바른 답을 출력하지만 알고리즘이 실제로 어디에 작동하지 않습니다. 알고리즘은 모든 작은 입력에서 올바르게 작동하고 큰 입력에서만 실패하거나 특이한 패턴의 입력에서만 실패 할 수 있습니다.

특히, 나는 찾고 있습니다 :

1. 알고리즘. 결함은 알고리즘 수준이어야합니다. 구현 버그를 찾고 있지 않습니다. 예를 들어 최소한 예제는 언어에 구애받지 않아야하며 결함은 소프트웨어 엔지니어링 또는 구현 문제보다는 알고리즘 문제와 관련이 있어야합니다.

2. 누군가가 그럴듯하게 생각 해낼 수있는 알고리즘. 의사 코드는 최소한 그럴듯하게 보일 것입니다 (예 : 난독 화되거나 명백하게 모호한 코드는 좋은 예가 아닙니다). 숙제 나 시험 문제를 해결하려고 할 때 일부 학생이 실제로 만든 알고리즘 인 경우 보너스 포인트.

3. 확률이 높은 합리적인 수동 테스트 전략을 통과하는 알고리즘입니다. 손으로 몇 가지 작은 테스트 사례를 시도하는 사람은 결함을 발견하지 못할 것입니다. 예를 들어, "수십 개의 작은 테스트 사례에서 수작업으로 QuickCheck 시뮬레이션"은 알고리즘이 잘못되었음을 나타내지 않을 것입니다.

4. 바람직하게는 결정적 알고리즘이다. 많은 학생들이 "수동으로 일부 테스트 사례를 시험해 보는 것"이 ​​결정 론적 알고리즘이 올바른지 확인하는 합리적인 방법이라고 생각하지만 대부분의 학생들은 몇 가지 테스트 사례를 시도하는 것이 확률론을 검증하는 좋은 방법이라고 생각하지 않을 것입니다 알고리즘. 확률 알고리즘의 경우 특정 출력이 올바른지 여부를 알 수있는 방법이없는 경우가 많습니다. 출력 분포에 대한 유용한 통계 테스트를 수행하기에 충분한 예제를 수동으로 크랭크 할 수 없습니다. 따라서 결정 론적 알고리즘에 중점을두기를 원합니다. 학생들의 오해의 중심에 더 명확하게 도달하기 때문입니다.

알고리즘의 정확성을 증명하는 것이 중요하다는 것을 가르치고 싶습니다. 정확성 증명에 동기를 부여하기 위해 이와 같은 몇 가지 예를 사용하고 싶습니다. 학부생들이 비교적 간단하고 접근 할 수있는 사례를 선호합니다. 중장비 또는 많은 수학적 / 알고리즘 배경이 필요한 예는 그다지 유용하지 않습니다. 또한 "부 자연스러운"알고리즘을 원하지 않습니다. 휴리스틱을 속이는 이상한 인공 알고리즘을 구성하는 것이 쉽지만, 매우 부자연 스럽거나이 휴리스틱을 속이는 것으로 명확한 백도어가 있다면 학생들에게 설득력이 없을 것입니다. 좋은 예가 있습니까?

내가 생각하는 일반적인 오류는 욕심 많은 알고리즘을 사용하는 것이며, 항상 올바른 접근법은 아니지만 대부분의 테스트 사례에서 작동 할 수 있습니다.

예 : 동전의 교단, 와 숫자 표현 의 합으로 :의를 가능한 한 적은 수의 동전. n n d $d_1,\dots,d_k$$n$$n$$d_i$

순진한 접근 방식은 가능한 한 가장 큰 동전을 먼저 사용하고 탐욕스럽게 그러한 합계를 생성하는 것입니다.

예를 들어, 값이 , 및 동전 은 숫자 제외하고 과 사이의 모든 숫자에 대해 욕심과 정답을 제공합니다 .5 1 1 14 10 = 6 + 1 + 1 + 1 + 1 = 5 + $6$$5$$1$$1$$14$$10 = 6+1+1+1+1 = 5+5$

나는 즉시 R. Backhouse 의 사례를 회상했다 . 분명히, 그는 학생들이 두 줄의 동등성을 테스트하기 위해 파스칼 프로그램을 작성해야하는 프로그래밍 과제를 배정했습니다. 학생이 제출 한 프로그램 중 하나는 다음과 같습니다.

issame := (string1.length = string2.length);

if issame then
  for i := 1 to string1.length do
    issame := string1.char[i] = string2.char[i];

write(issame);

이제 다음 입력으로 프로그램을 테스트 할 수 있습니다.

"대학" "대학" True; 승인$\Rightarrow$

"코스" "코스" True; 승인$\Rightarrow$

"" "" True; 승인$\Rightarrow$

"대학" "코스" False; 승인$\Rightarrow$

"강의" "코스" False; 승인$\Rightarrow$

"정확도" "정확도" False, OK$\Rightarrow$

이 모든 것이 매우 유망한 것으로 보입니다. 아마도 프로그램이 실제로 작동합니다. 그러나 "pure"및 "true"로보다 신중하게 테스트하면 출력에 결함이있는 것으로 나타납니다. 실제로 문자열의 길이와 마지막 문자가 같은 경우 프로그램은 "참"이라고 말합니다!

그러나 테스트는 상당히 철저했습니다. 길이가 다른 문자열, 길이는 같지만 내용이 다른 문자열, 심지어는 문자열도있었습니다. 또한 학생은 모든 지점을 테스트하고 실행했습니다. 프로그램이 실제로 매우 단순하다는 점에서 테스트가 부주의했다고 주장 할 수는 없습니다. 철저히 테스트 할 동기와 에너지를 찾기가 어려울 수 있습니다.

또 다른 귀여운 예는 이진 검색입니다. Knuth는 TAOCP에서 "이진 검색의 기본 개념은 비교적 간단하지만 세부 사항은 놀랍도록 까다로울 수 있습니다"라고 말합니다. 분명히 자바의 바이너리 검색 구현에서 버그는 10 년 동안 눈에 띄지 않았다. 정수 오버플로 버그였으며 충분히 큰 입력에서만 나타납니다. 바이너리 검색 구현에 대한 까다로운 세부 사항은 Programming Pearls 책에서 Bentley가 다루고 있습니다.

결론 : 이진 검색 알고리즘을 테스트하는 것만으로는 정확하다는 것이 놀랍게도 어려울 수 있습니다.

내가 본 최고의 예는 우선 성 테스트입니다.

입력 : 자연수 p, p! = 2
출력 : pa 프라임인가?
알고리즘 : 계산 2 ** (p-1) mod p. 결과 = 1이면 p는 소수이고 p는 그렇지 않습니다.

이것은 소수의 카운터 예제를 제외하고 (거의) 모든 숫자에서 작동하며 실제로 현실적인 예제에서 카운터 예제를 찾으려면 기계가 필요합니다. 첫 번째 반례는 341이며, 대수의 경우에도 p가 증가함에 따라 실제로 반례의 밀도가 감소합니다.

2를 거듭 제곱의 기초로 사용하는 대신 이전 소수가 1을 반환하는 경우에 따라 작은 소수를 추가로 증가시켜 알고리즘을 개선 할 수 있습니다. 그럼에도 불구하고이 체계에 대한 반례, 즉 Carmichael 수, 그래도 꽤 드문

다음은 내가 갔던 대회에서 Google 담당자가 나에게 던진 것입니다. C로 코딩되었지만 참조를 사용하는 다른 언어로 작동합니다. [cs.se]에서 코드를 작성 해줘서 죄송합니다. 그러나 그것을 설명하는 유일한 방법입니다.

swap(int& X, int& Y){
    X := X ^ Y
    Y := X ^ Y
    X := X ^ Y
}

이 알고리즘은 x와 y에 동일한 값이 있더라도 x와 y에 주어진 모든 값에 대해 작동합니다. 그러나 swap (x, x)로 호출되면 작동하지 않습니다. 이 상황에서 x는 0으로 끝납니다. 이제이 연산이 수학적으로 정확하다는 것을 증명할 수는 있지만 여전히이 경우를 잊어 버리기 때문에 만족스럽지 않을 수 있습니다.

의사 난수 생성기 라는 본질적으로 테스트하기 어려운 전체 알고리즘 클래스가 있습니다. 단일 출력을 테스트 할 수는 없지만 통계 수단으로 일련의 출력을 조사해야합니다 (많은). 무엇을 어떻게 테스트 하느냐에 따라 무작위가 아닌 특성을 놓칠 수도 있습니다.

일이 끔찍하게 잘못 된 유명한 사례 중 하나는 RANDU 입니다. 당시 사용 가능한 정밀 검사를 통과하여 후속 출력 의 튜플 동작을 고려하지 못했습니다 . 이미 트리플은 많은 구조를 보여줍니다.

기본적으로 테스트는 모든 사용 사례를 다루지는 않았습니다. RANDU의 단일 차원 사용은 (아마도 대부분) 양호하지만 3 차원 점을 샘플링하는 데는이 방법을 사용하지 않았습니다 (이와 같은 방식).

적절한 의사 랜덤 샘플링은 까다로운 사업입니다. 운 좋게도, 제안 된 생성기에서 우리가 알고있는 모든 통계를 처리 하는 것을 전문으로하는 다 이하 드러 와 같은 강력한 테스트 스위트가 있습니다. 충분한가?

^{공정하게, 나는 당신이 PRNGs에 대해 어떤 것을 증명할 수 있는지 전혀 모른다.}

2D 로컬 최대

입력 : 2 차원 배열$n \times n$$A$

출력 : 로컬 최대 - 쌍 이되도록 엄밀히 큰 값을 포함하는 어레이 내에 인접 셀이 없다. $(i,j)$$A[i,j]$

(인접한 셀은 어레이에 존재 중 하나임 ) 예를 들어 가$A[i, j+1], A[i, j-1], A[i-1, j], A[i+1, j]$$A$

각 굵은 셀은 로컬 최대 값입니다. 비어 있지 않은 모든 배열에는 하나 이상의 로컬 최대 값이 있습니다.

연산. 가 단, 각 셀을 확인 : - 시간 알고리즘. 더 빠르고 재귀적인 알고리즘에 대한 아이디어가 있습니다.$O(n^2)$

주어지면 중간 열의 셀과 가운데 행의 셀로 구성되도록 교차 를 정의 하십시오. 먼저 각 셀을 확인 하여 셀이 의 로컬 최대 값인지 확인하십시오 . 그렇다면 해당 셀을 반환하십시오. 그렇지 않으면 는 최대 값을 갖는 의 셀이되게하십시오 . 이후 극대가 아니며, 이는 인접 셀이 있어야 더 큰 값.$A$$X$$X$$A$$(i, j)$$X$$(i, j)$$(i', j')$

자연스럽게 (배열 , 의 셀 빼기 )를 4 개의 사분면 (왼쪽 위, 오른쪽 위, 왼쪽 아래 및 오른쪽 아래 사분면)으로 분할합니다. 더 큰 값을 가진 인접 셀 은 해당 사분면 중 하나에 있어야합니다. 그 사분면 부릅니다 . $A \setminus X$$A$$X$$(i', j')$$A'$

렘마. 사분면 에는 로컬 최대 값 됩니다.$A'$$A$

증명. 셀에서 시작하는 것을 고려하십시오 . 로컬 최대 값이 아닌 경우 더 큰 값을 가진 이웃으로 이동하십시오. 이것은 로컬 최대 값 인 셀에 도달 할 때까지 반복 될 수 있습니다. 마지막 셀은 에 있어야합니다 . 왜냐하면 는 셀의 값 보다 작은 값을 가진 셀에 의해 모든면에 묶여 있기 때문 입니다. 이것은 정리를 증명합니다. $(i', j')$$A'$$A'$$(i', j')$$\diamond$

알고리즘은 하위 배열 에서 재귀 적으로 호출 하여 로컬 최대 값 찾은 다음 해당 셀을 반환합니다.$\frac{n}{2}\times\frac{n}{2}$$A'$$(i, j)$

행렬에 대한 실행 시간 은 을 만족하므로 입니다. $T(n)$$n\times n$$T(n) = T(n/2) + O(n)$$T(n) = O(n)$

따라서 우리는 다음 정리를 증명했습니다.

정리. 가 에서 로컬 최대 값을 구하는 알고리즘 - 시간 어레이.$O(n)$$n\times n$

아니면 우리가?

이것들은 공통적이기 때문에 우선 순위의 예입니다.

(1) SymPy의 우선 순위. 문제 1789 . 잘 알려진 웹 사이트에 대한 잘못된 테스트가 10 ^ 14 이후까지 실패하지 않았습니다. 수정은 정확하지만 문제를 다시 생각하기보다는 구멍을 패치하는 것입니다.

(2) Perl의 우선 순위 6. Perl6에는 고정 된베이스로 여러 MR 테스트를 사용하는 is-prime이 추가되었습니다. 알려진 반례가 있지만 기본 테스트 수가 많기 때문에 (기본적으로 성능 저하로 실제 문제를 숨기므로) 상당히 큽니다. 이것은 곧 해결 될 것입니다.

(3) FLINT의 우선 순위. n_isprime ()은 고정 된 이후 composites 에 대해 true를 리턴합니다 . 기본적으로 SymPy와 동일한 문제입니다. SPRP-2 유사 프라임의 Feitsma / Galway 데이터베이스를 2 ^ 64까지 사용하여이를 테스트 할 수 있습니다.

(4) Perl의 Math :: Primality. is_aks_prime broken . 이 시퀀스는 많은 AKS 구현과 유사 해 보입니다. 실수로 작동했거나 (예 : 1 단계에서 잃어 버려 시험 시행에 의해 전체 작업을 수행 한) 많은 코드가 더 큰 예제에서는 작동하지 않았습니다. 불행히도 AKS는 너무 느리기 때문에 테스트하기가 어렵습니다.

(5) Pari의 2.2 이전 is_prime. 수학 :: 파리 티켓 . MR 테스트에는 10 개의 임의 기준을 사용했습니다 (매번 호출 할 때마다 GMP의 고정 시드 대신 시작시 고정 시드 사용). 1M 통화 중 9 개가 소수임을 나타냅니다. 올바른 숫자를 선택하면 비교적 자주 실패 할 수 있지만 숫자가 희박 해 지므로 실제로는 많이 표시되지 않습니다. 그들은 이후 알고리즘과 API를 변경했습니다.

이것은 잘못된 것이 아니지만 고전적인 확률 론적 테스트입니다. mpz_probab_prime_p는 몇 번의 라운드를 제공합니까? 5 라운드를 주면 제대로 작동하는 것처럼 보입니다. 숫자는 base-210 Fermat 테스트를 통과 한 다음 5 개의 미리 선택된 bases Miller-Rabin 테스트를 통과해야합니다. 3892757297131 (GMP 5.0.1 또는 6.0.0a)이 될 때까지 반례를 찾을 수 없으므로 많은 테스트를 거쳐야합니다. 그러나 2 ^ 64에는 수천 개의 반례가 있습니다. 그래서 당신은 계속 숫자를 올립니다. 얼마나 멀리? 적이 있습니까? 정답은 얼마나 중요합니까? 랜덤베이스와 고정베이스를 혼동하고 있습니까? 어떤 입력 크기가 제공되는지 알고 있습니까?

$10^{16}$

이것들은 올바르게 테스트하기가 매우 어렵습니다. 내 전략에는 명백한 단위 테스트, 엣지 케이스, 다른 패키지 이전 또는 다른 패키지에서 볼 수있는 실패의 예, 가능한 경우 알려진 데이터베이스와 비교 한 테스트가 포함됩니다 (예 : 단일 base-2 MR 테스트를 수행하는 경우 계산 불가능 함) 2 ^ 64 개의 숫자를 테스트하여 약 3 천 2 백만 개의 숫자를 테스트하는 작업), 마지막으로 다른 패키지를 표준으로 사용하는 수많은 무작위 테스트. 마지막 요점은 상당히 간단한 입력과 알려진 출력이있는 원시성과 같은 기능에 적용되지만 상당히 많은 작업이 이와 같습니다. 나는 이것을 사용하여 자체 개발 코드에서 결함을 발견하고 비교 패키지에서 때때로 문제를 발견했습니다. 그러나 무한 입력 공간이 주어지면 모든 것을 테스트 할 수 없습니다.

정확성을 증명하기 위해 여기에 또 다른 원시성 예제가 있습니다. BLS75 방법 및 ECPP에는 기본 인증서 개념이 있습니다. 기본적으로 교정에 적합한 값을 찾기 위해 검색을 중단 한 후 알려진 형식으로 출력 할 수 있습니다. 그런 다음 검증자를 작성하거나 다른 사람이 작성하도록 할 수 있습니다. 이것들은 생성과 비교하여 매우 빠르게 실행되며 이제는 (1) 두 코드가 모두 정확하지 않으므로 (따라서 검증자가 다른 프로그래머를 선호하는 이유) 또는 (2) 증거 아이디어의 수학이 잘못되었습니다. # 2는 항상 가능하지만 일반적으로 여러 사람들이 게시하고 검토했습니다 (일부 경우 자신을 쉽게 이해할 수있는 경우도 있음).

이에 비해 AKS, APR-CL, 시험 분할 또는 결정 론적 Rabin 테스트와 같은 방법은 모두 "프라임"또는 "복합"이외의 출력을 생성하지 않습니다. 후자의 경우 검증 할 수있는 요인이있을 수 있지만 전자의 경우에는이 1 비트 출력 외에는 아무것도 남지 않습니다. 프로그램이 올바르게 작동 했습니까? 던노

몇 가지 장난감 예제 이상에서 소프트웨어를 테스트하고 알고리즘의 각 단계에서 몇 가지 예제를 살펴보고 "이 입력을 받았으면이 상태에 있다는 것이 합리적입니까?"라고 말하는 것이 중요합니다.

Fisher-Yates-Knuth 셔플 링 알고리즘 은 실제적인 예 이며이 사이트의 저자 중 한 사람이에 대해 언급 한 것 입니다.

알고리즘은 다음과 같이 주어진 배열의 무작위 순열을 생성합니다.

 // To shuffle an array a of n elements (indices 0..n-1):
  for i from n − 1 downto 1 do
       j ← random integer with 0 ≤ j ≤ i
       exchange a[j] and a[i]

$i$$j$$0 \le j \le i$

"순진한"알고리즘은 다음과 같습니다.

 // To shuffle an array a of n elements (indices 0..n-1):
  for i from n − 1 downto 1 do
       j ← random integer with 0 ≤ j ≤ n-1
       exchange a[j] and a[i]

루프에서 교체 될 요소는 사용 가능한 모든 요소에서 선택됩니다. 그러나 이것은 순열의 바이어스 샘플링을 생성합니다 (일부는 과도하게 표현됩니다).

실제로 간단한 (또는 순진한) 카운팅 분석을 사용하여 피셔-율-knuth 셔플 링을 시작할 수 있습니다.

$n$$n! = n \times n-1 \times n-2 ..$$n$$n-1$

셔플 링 알고리즘이 올바른지 ( 바이어스 드인지 아닌지 ) 확인하는 데있어 주요 문제점 은 통계로 인해 많은 수의 샘플이 필요하다는 것입니다. codinghorror 기사 나는 위의 링크는 정확히 (실제 테스트 포함)에 대해 설명합니다.

내가 본 가장 좋은 예 (읽기 : 내가 가장 아파하는 것)는 collatz 추측 과 관련이 있습니다.. 나는 프로그래밍 경쟁 (첫 번째 줄에 500 달러 상금이 있음)에서 두 가지 숫자가 같은 숫자에 도달하는 데 필요한 최소 단계 수를 찾는 것이 문제였습니다. 물론 해결책은 둘 다 이전에 본 것에 도달 할 때까지 각 단계를 번갈아 가면서 단계적으로 진행하는 것입니다. 우리는 다양한 범위의 숫자를 받았으며 (1과 1000000 사이라고 생각합니다) collatz 추측은 2 ^ 64까지 검증되었으므로 주어진 모든 숫자는 1에서 수렴됩니다. 그러나 단계를 수행하는 정수. 1과 1000000 (170,000,000) 사이에 하나의 모호한 숫자가있어 32 비트 정수가 적시에 오버플로 될 수 있습니다. 실제로이 숫자는 매우 드물다 (2 ^ 31). 우리는 오버플로가 발생하지 않았 음을 확인하기 위해 1000000보다 큰 HUGE 수에 대해 시스템을 테스트했습니다. 방금 테스트하지 않은 훨씬 작은 숫자가 오버플로를 일으켰습니다. "긴"대신 "int"를 사용했기 때문에 $ 500 상이 아닌 300 달러 상을 받았습니다.

배낭 0/1 문제는 거의 모든 학생들이 욕심 알고리즘에 의해 분해 할 생각입니다. 욕심 많은 알고리즘이 작동 하는 배낭의 문제 버전으로 욕심 많은 해결책을 이전에 보여 주면 더 자주 발생 합니다 .

이러한 문제의 경우 클래스 에서 의심을 제거하고 욕심 많은 문제 버전에 대한 배낭 0/1 ( 동적 프로그래밍 )에 대한 증거를 보여 주어야합니다 . 실제로, 두 가지 증거는 모두 사소한 것이 아니며 학생들은 아마도 그것들이 매우 도움이된다는 것을 알게 될 것입니다. 또한 이에 대한 의견은 CLRS 3ed , 16 장, 페이지 425-427에 있습니다.

문제 : 도둑이 가게를 강탈하고 배낭에 최대 W의 무게를 실을 수 있습니다. n 개의 품목이 있으며 i 번째 품목의 무게는 6 달러입니다. 도둑은 어떤 물건을 가져 가야합니까? 그의 이익을 극대화하기 위해 ?

배낭 0/1 문제 : 설정은 동일하지만 항목이 더 작은 조각으로 나뉘 지 않을 수 있으므로 도둑이 항목 을 가져 가거나 떠나도록 결정할 수 있지만 (이진 선택) 항목의 일부를 차지하지 않을 수 있습니다 .

그리고 욕심 많은 버전 문제와 같은 아이디어를 따르는 아이디어 나 알고리즘을 학생들로부터 얻을 수 있습니다.

• 가방의 전체 용량을 가져와 가능한 한 가장 가치있는 물건을 최대한 넣은 다음, 가방이 가득 찼거나 가방 안에 넣을 무게가 적은 물건이 없어 더 많은 물건을 넣을 수 없을 때까지이 방법을 반복하십시오.
• 다른 잘못된 방법은 생각입니다 : 더 가벼운 물건을 넣고 다음과 같이 최고에서 최저 가격으로 올리십시오.
• ...

도움이 되셨습니까? 실제로, 우리는 동전 문제 가 배낭 문제 버전이라는 것을 알고 있습니다. 그러나 배낭 문제의 숲에는 더 많은 사례가 있습니다. 예를 들어 배낭 백 2D ( 가구를 만들기 위해 나무를 자르고 싶을 때 실제로 도움이 됩니다 . 욕심은 여기서도 작동하지만 그렇지 않습니다.

일반적인 실수는 셔플 링 알고리즘을 잘못 구현하는 것입니다. Wikipedia에 대한 토론을 참조하십시오 .

$n!$$n^n$$(n-1)^n$

파이 PEP450 표준 라이브러리에 통계 기능을 도입 관심이있을 수 있습니다. Python의 표준 라이브러리에서 분산을 계산하는 함수를 갖는 타당성의 일부로 저자 Steven D' Aprano는 다음과 같이 씁니다.

def variance(data):
        # Use the Computational Formula for Variance.
        n = len(data)
        ss = sum(x**2 for x in data) - (sum(data)**2)/n
        return ss/(n-1)

위의 테스트는 캐주얼 테스트에서 올바른 것으로 보입니다.

>>> data = [1, 2, 4, 5, 8]
>>> variance(data)
  7.5

그러나 모든 데이터 포인트에 상수를 추가하면 분산이 변경되지 않아야합니다.

>>> data = [x+1e12 for x in data]
>>> variance(data)
  0.0

그리고 분산은 절대로 음수 가 아니 어야합니다 .

>>> variance(data*100)
  -1239429440.1282566

문제는 숫자와 정밀도가 어떻게 손실되는지에 관한 것입니다. 최대 정밀도를 원하면 특정 방식으로 작업을 주문해야합니다. 순진한 구현은 부정확성이 너무 커서 잘못된 결과를 초래합니다. 그것은 대학에서 내 숫자 과정에 관한 문제 중 하나였습니다.

이것이 당신이 추구하는 것은 아니지만 아마도 다른 사고없이 작은 사례를 이해하고 테스트하는 것은 잘못된 알고리즘으로 이어질 것입니다.

$n$$n^2+n+41$$0<d$$d\text{ divides } n^2+n+41$$d < n^2+n+41$

제안 된 해결책 :

int f(int n) {
   return 1;
}

$n= 0, 1, 2, \dotsc, 39$$n=40$

이 "일부 작은 사례를 시도하고 결과에서 알고리즘을 추론"접근 방식은 (a) 구현하기 쉽고 (b) )의 실행 시간이 빠릅니다.