단위 테스트를 병렬이 아닌 직렬로 실행합니다.

내가 작성한 WCF 호스트 관리 엔진을 단위 테스트하려고합니다. 엔진은 기본적으로 구성을 기반으로 즉석에서 ServiceHost 인스턴스를 만듭니다. 이를 통해 새로운 서비스가 추가되거나 이전 서비스가 제거 될 때마다 서비스를 모두 종료하고 다시 시작할 필요없이 사용할 수있는 서비스를 동적으로 재구성 할 수 있습니다.

그러나 ServiceHost의 작동 방식으로 인해이 호스트 관리 엔진을 단위 테스트하는 데 어려움이 있습니다. 특정 끝점에 대해 ServiceHost가 이미 생성되고 열렸지만 아직 닫히지 않은 경우 동일한 끝점에 대해 다른 ServiceHost를 만들 수 없으므로 예외가 발생합니다. 최신 단위 테스트 플랫폼은 테스트 실행을 병렬화하기 때문에이 코드 조각을 단위 테스트 할 효과적인 방법이 없습니다.

확장 성 때문에 테스트를 직렬로 실행하도록 강제하는 방법을 찾을 수 있기를 바라면서 xUnit.NET을 사용했습니다. 그러나 나는 운이 없었습니다. 나는 여기 누군가가 비슷한 문제를 겪고 단위 테스트를 직렬로 실행하는 방법을 알고 있기를 바랍니다.

참고 : ServiceHost 는 Microsoft에서 작성한 WCF 클래스입니다. 나는 그 행동을 바꿀 능력이 없습니다. 각 서비스 엔드 포인트를 한 번만 호스팅하는 것도 적절한 동작이지만 단위 테스트에는 특별히 도움이되지 않습니다.

각 테스트 클래스는 고유 한 테스트 컬렉션이며 그 아래의 테스트는 순서대로 실행되므로 모든 테스트를 동일한 컬렉션에 넣으면 순차적으로 실행됩니다.

xUnit에서는이를 위해 다음과 같이 변경할 수 있습니다.

다음은 병렬로 실행됩니다.

namespace IntegrationTests
{
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

순차적으로 만들려면 두 테스트 클래스를 동일한 컬렉션에 넣어야합니다.

namespace IntegrationTests
{
    [Collection("Sequential")]
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    [Collection("Sequential")]
    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

자세한 정보는 이 링크를 참조하세요.

위에서 언급했듯이 모든 좋은 단위 테스트는 100 % 격리되어야합니다. 공유 상태 (예 : static각 테스트에 의해 수정 된 속성 에 따라 다름)를 사용하는 것은 나쁜 습관으로 간주됩니다.

즉, xUnit 테스트를 순서대로 실행하는 것에 대한 질문에 답이 있습니다! 내 시스템이 정적 서비스 로케이터 (이상적이지 않음)를 사용하기 때문에 정확히 동일한 문제가 발생했습니다.

기본적으로 xUnit 2.x는 모든 테스트를 병렬로 실행합니다. 이는 CollectionBehavior테스트 프로젝트의 AssemblyInfo.cs에서 정의하여 어셈블리별로 수정할 수 있습니다 .

어셈블리 별 분리 사용 :

using Xunit;
[assembly: CollectionBehavior(CollectionBehavior.CollectionPerAssembly)]

또는 전혀 사용하지 않는 경우 :

[assembly: CollectionBehavior(DisableTestParallelization = true)]

후자는 아마도 당신이 원하는 것입니다. 병렬화 및 구성에 대한 자세한 정보는 xUnit 문서 에서 찾을 수 있습니다 .

.NET Core 프로젝트의 경우 다음을 사용 xunit.runner.json하여 만듭니다 .

{
  "parallelizeAssembly": false,
  "parallelizeTestCollections": false
}

또한, 당신은 csproj포함해야

<ItemGroup>
  <None Update="xunit.runner.json"> 
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </None>
</ItemGroup>

이전 .Net Core 프로젝트의 경우 다음 project.json을 포함해야합니다.

"buildOptions": {
  "copyToOutput": {
    "include": [ "xunit.runner.json" ]
  }
}

.NET Core 프로젝트의 경우 https://xunit.github.io/docs/configuring-with-json.html에xunit.runner.json 설명 된대로 파일로 xUnit을 구성 할 수 있습니다. .

병렬 테스트 실행을 중지하기 위해 변경해야하는 설정은 parallelizeTestCollections입니다. 기본값은 true다음과 같습니다.

true어셈블리가이 어셈블리 내부에서 서로에 대해 병렬로 테스트를 실행하려는 경우이 값을 설정하십시오 . ... 다음으로 설정false 이 테스트 어셈블리 내의 모든 병렬화를 비활성화 .

JSON 스키마 유형 : 부울
기본값 :true

따라서이 xunit.runner.json목적을위한 최소값 은 다음과 같습니다.

{
    "parallelizeTestCollections": false
}

문서에서 언급했듯이 다음 방법 중 하나로이 파일을 빌드에 포함해야합니다.

• Visual Studio 의 파일 속성이 최신 인 경우 출력 디렉터리 에 복사를 복사로 설정 하거나

• 첨가

  <Content Include=".\xunit.runner.json">
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </Content>

  당신에 .csproj파일 또는

• 첨가

  "buildOptions": {
    "copyToOutput": {
      "include": [ "xunit.runner.json" ]
    }
  }

  당신의 project.json파일에

프로젝트 유형에 따라.

마지막으로 위의 것 외에도 Visual Studio를 사용하는 경우 실수로 병렬로 테스트 실행 단추를 클릭하지 않았는지 확인합니다. 그러면 .NET 에서 병렬화를 해제 한 경우에도 테스트가 병렬로 실행됩니다 xunit.runner.json. Microsoft의 UI 디자이너는 실수로 클릭 할 가능성을 최대화하고 테스트 이유를 모를 가능성을 극대화하기 위해이 버튼에 레이블이 지정되지 않고 눈에 띄기 어렵게 만들고 테스트 탐색기 의 "모두 실행" 버튼에서 약 1cm 떨어져 있습니다. 갑자기 실패합니다.

이것은 오래된 질문이지만 저처럼 새로 검색하는 사람들에게 해결책을 쓰고 싶었습니다. :)

참고 : xunit 버전 2.4.1과의 Dot Net Core WebUI 통합 테스트에서이 방법을 사용합니다.

NonParallelCollectionDefinitionClass라는 빈 클래스를 만든 다음 아래와 같이이 클래스에 CollectionDefinition 속성을 부여합니다. (중요한 부분은 DisableParallelization = true 설정입니다.)

using Xunit;

namespace WebUI.IntegrationTests.Common
{
    [CollectionDefinition("Non-Parallel Collection", DisableParallelization = true)]
    public class NonParallelCollectionDefinitionClass
    {
    }
}

그런 다음 아래와 같이 병렬로 실행하지 않으려는 클래스에 Collection 속성을 추가하십시오. (중요한 부분은 컬렉션의 이름입니다. CollectionDefinition에서 사용하는 이름과 동일해야합니다.)

namespace WebUI.IntegrationTests.Controllers.Users
{
    [Collection("Non-Parallel Collection")]
    public class ChangePassword : IClassFixture<CustomWebApplicationFactory<Startup>>
    ...

이렇게하면 먼저 다른 병렬 테스트가 실행됩니다. 그 후 Collection ( "Non-Parallel Collection") 속성이있는 다른 테스트가 실행됩니다.

당신은 재생 목록 을 사용할 수 있습니다

테스트 방법을 마우스 오른쪽 버튼으로 클릭-> 재생 목록에 추가-> 새 재생 목록

그런 다음 실행 순서를 지정할 수 있습니다. 기본값은 재생 목록에 추가 할 때이지만 원하는대로 재생 목록 파일을 변경할 수 있습니다.

세부 사항은 모르지만 단위 테스트 보다는 통합 테스트를 시도 하는 것 같습니다 . 에 대한 종속성을 분리 할 수 ​​있다면 테스트를 더 쉽고 빠르게 할 수 있습니다. 따라서 (예를 들어) 다음을 독립적으로 테스트 할 수 있습니다.ServiceHost

• 구성 읽기 클래스
• ServiceHost 팩토리 (통합 테스트로 가능)
• IServiceHostFactory및 an 을 취하는 엔진 클래스IConfiguration

격리 (모의) 프레임 워크 및 (선택적으로) IoC 컨테이너 프레임 워크를 포함하는 데 도움이되는 도구입니다. 보다:

• http://www.mockobjects.com/
• http://www.hanselman.com/blog/ListOfNETDependencyInjectionContainersIOC.aspx

Advanced Unit Testing을 사용할 수 있습니다 . 테스트를 실행하는 순서를 정의 할 수 있습니다 . 따라서 이러한 테스트를 호스팅하려면 새 cs 파일을 만들어야 할 수도 있습니다.

원하는 순서로 작동하도록 테스트 방법을 구부리는 방법은 다음과 같습니다.

[Test]
[Sequence(16)]
[Requires("POConstructor")]
[Requires("WorkOrderConstructor")]
public void ClosePO()
{
  po.Close();

  // one charge slip should be added to both work orders

  Assertion.Assert(wo1.ChargeSlipCount==1,
    "First work order: ChargeSlipCount not 1.");
  Assertion.Assert(wo2.ChargeSlipCount==1,
    "Second work order: ChargeSlipCount not 1.");
  ...
}

작동하는지 알려주세요.

나를 위해 .Net Core Console 애플리케이션에서 테스트 메서드 (클래스 아님)를 동 기적으로 실행하고 싶을 때 작동 한 유일한 솔루션은 다음 블로그에 설명되어 있습니다. xUnit : Control the Test Execution Order

기본 클래스에 [Collection ( "Sequential")] 속성을 추가했습니다 .

    namespace IntegrationTests
    {
      [Collection("Sequential")]
      public class SequentialTest : IDisposable
      ...


      public class TestClass1 : SequentialTest
      {
      ...
      }

      public class TestClass2 : SequentialTest
      {
      ...
      }
    }

지금까지 제안 된 답변 중 어느 것도 나를 위해 일하지 않았습니다. XUnit 2.4.1이 포함 된 dotnet 코어 앱이 있습니다. 대신 각 단위 테스트에 잠금을 설정하여 해결 방법으로 원하는 동작을 달성했습니다. 제 경우에는 실행 순서에 신경 쓰지 않고 테스트가 순차적이었습니다.

public class TestClass
{
    [Fact]
    void Test1()
    {
        lock (this)
        {
            //Test Code
        }
    }

    [Fact]
    void Test2()
    {
        lock (this)
        {
            //Test Code
        }
    }
}