스트레스 테스트를위한 합격 / 불합격 기준이없는 것이 합리적입니까?

명확성을 기하기 위해 필자가 작성한 스트레스 테스트는 시스템이 중단 점에 도달 할 때까지 시스템의 부하를 꾸준히 증가시킵니다. 이론적으로는 무한정 실행되지만 시스템 자원이 유한하기 때문에 일정 시간이 지나면 실패 할 것으로 예상됩니다. 시스템에 대한 예상로드가 있지만 로드 테스트 에서 별도로 테스트됩니다. 이 스트레스 테스트의 목적은 스케일링을 구현하기 전에 시스템에 얼마나 많은 부하를 가할 수 있는지 알아내는 것입니다.

시스템에 대한 스트레스 테스트를 작성하는 중이며 합격 / 불합격 기준이 적합한 지 궁금합니다. 테스트의 특성상, 부하는 점에 도달 할 때까지 (즉, 실패 ) 부하는 꾸준히 증가 합니다 . 나는 분명히이 파괴 점이 무엇인지 알지 못하기 때문에 시스템이 (어쨌든 이론적으로) 처리 할 수있는 부하에 대한 기대는 없다.

이제 통과 / 실패 기준을 쉽게 설정할 수있는 예상 부하 등에서 시스템을 테스트하기위한 다른 성능 테스트를 수행했으며 이러한 기준을 스트레스 테스트의 기초로 사용할 수 있습니다. 다시 말해서, 스트레스 테스트를위한 최소 기준을 설정할 수는 있지만 이것이 옳은지 확실하지 않습니다 (이것이 다른 테스트를 '중복'하고 있습니까?).

성능 테스트에 대한 경험이 많은 사람이 도움이되기를 바랍니다. 스트레스 테스트시 다른 합격 / 불합격 기준은 무엇입니까?

스트레스 테스트에서 당신의 임무는 피험자가받을 수있는 스트레스를 정의하는 것이 아닙니다. 실패하기 전에 걸리는 스트레스를 측정하는 것입니다.

성능 기준을 사용하여 응력 고장이 무엇인지 정의 할 수 있습니다. 그러나 스트레스 테스트 결과는 통과 / 실패하지 않습니다. "환기 50 %가 손상되고 100 % 사용률로 90 시간 후에 실패했습니다".

요구 사항에 따라 달라집니다. 요구 사항에 따라 앱 성능에 대한 예상 결과가 X이고 실제로는 Y라고 지정하면 실패입니다.
요구 사항이 정의되어 있지 않으면 시스템에 스트레스를주고 경계 데이터를 수집 한 다음 이러한 제한을 파악하고 문서화 할 수 있습니다.

기본 스트레스 테스트를 쉽게 업데이트하여 "파괴없이 X로드에 도달 / 지속 할 수있는"과 같은 QA 합격 / 불합격 확인을 지원할 수 있습니다. X를 구성 할 수있는 것이 이상적입니다 (예 : 다른 릴리스 분기의 경우).

결과는 fail로드가 X에 도달하기 전에 시스템이 중단되고 pass중단되지 않는 경우입니다. "지속적인"시나리오에서로드가 X 값에 도달하면로드 증가를 중지해야합니다.

이와 같은 자동화 된 테스트 IMOM은 CI / CD와 관련하여 특히 생산 지점에서 매우 유용 할 수 있습니다.