OSS 프로젝트의 통합 테스트-인증으로 타사를 처리하는 방법은 무엇입니까?

내 (오픈 소스) 취미 프로젝트 중 하나는 GitHub, Bitbucket 등에서 리포지토리의 오프라인 백업을 수행하는 백업 도구입니다. 리포지토리
목록을 가져 오기 위해 호스팅 업체의 API를 호출 한 다음 Git / Mercurial / 무엇을 사용하여 복제 / 리포지토리를 로컬 컴퓨터로 가져옵니다.

그래서 인증을 통해 GitHub API를 호출하는 통합 테스트가 있습니다.
(그리고 복제 / 풀링 기능이 끝나면 GitHub에서 리포지토리를 복제하고 인증해야하는 테스트가있을 것입니다)

특히 이러한 통합 테스트에 사용할 사용자 와 조직을 만들었습니다 .

문제점 : 오픈 소스이기 때문에 소스 코드 어딘가에 암호를 하드 코딩 할 수 없으며 코드는 GitHub에서 공개됩니다.

내가 지금하고있는 일

테스트에서 환경 변수에서 모든 사용자 이름, 비밀번호 및 저장소 이름을 가져옵니다.
예를 들면 다음과 같습니다 .

config.Name = TestHelper.EnvVar("GithubApiTests_Name");
config.Password = TestHelper.EnvVar("GithubApiTests_PW");

( TestHelper.EnvVar환경 변수의 값을 가져오고 존재하지 않을 때 예외를 throw하는 도우미 메소드입니다)

그런 다음 해당 환경 변수를 설정하는 배치 파일이 있습니다.
실제 environment-variables.bat스크립트 ( )는 빌드 스크립트와 테스트를 실행하기 전에 호출되지만 소스 제어에서는 무시되므로 실제로 내 저장소에는 없습니다.

무엇 입니다 소스 컨트롤입니다에 environment-variables.bat.sample있지만 가짜 암호와 같은 환경 변수를 설정합니다 :

rem copy/rename this file to environment-variables.bat

echo Setting environment variables for integration tests...

set GithubApiTests_Name=scm-backup-testuser
set GithubApiTests_OrgName=scm-backup-testorg
set GithubApiTests_PW=not-the-real-password
set GithubApiTests_Repo=scm-backup

따라서 저장소를 내 컴퓨터에 복제하고이 파일의 이름을로 바꾸고 environment-variables.bat실제 암호로 가짜 암호 를 바꾸면 모든 통합 테스트가 작동합니다.

이것은 Continuous Integration에서도 작동합니다. AppVeyor를 사용 하고 있으며 웹 UI에서 이러한 환경 변수를 설정할 수 있습니다 .

내가 싫어하는 것

나는 그것을 위해 OSS 프로젝트에 대한 좋은 해결책이 아니다, 특히하지 생각 이 프로젝트 :

이론적으로 내 프로젝트에 기여한 사람은 다음과 같은 방법으로 통합 테스트를 실행할 수 있습니다.

GitHub에서 자체 테스트 사용자 및 테스트 조직 만들기
테스트 리포지토리 생성
environment-variables.bat다른 가치 를 가진 자신의 버전을 만들기

문제는 내 응용 프로그램이 여러 소스 코드 호스트를 백업 할 수 있다는 것입니다.
지금은 GitHub 만 지원하지만 올바른 인터페이스를 구현하는 몇 가지 클래스를 추가하여 더 많은 호스트에 대한 지원을 쉽게 추가 할 수 있습니다.

나중에 더 많은 호스트에 대한 지원을 구현하면 환경 변수의 수가 증가합니다. 모든 통합 테스트
를 수행 할 수 있도록 잠재적 인 기여자는 GitHub, Bitbucket, GitLab 등에서 자신의 사용자, 조직 및 테스트 리포지토리를 생성하고 누가 더 많은 정보를 알고 있는지 자신의 버전에 추가합니다 . environment-variables.bat

코드가 공개 된 프로젝트 에서이 작업을 수행하는 방법에 대한 더 나은 솔루션이 있습니까?

다른 프로젝트가 현재하고있는 것과 비슷한 것을한다는 것을 알고 있습니다. 예를 들어
Octokit.net 에는 GitHub API를 호출하는 통합 테스트를위한 환경 변수 를 설정 하는 스크립트 가 있습니다. 그러나 그들은 한 명의 사용자와 하나의 조직 만 필요하며 더 많은 것이 필요합니다.

기고자가 실제로 모든 통합 테스트를 실행할 수있는 솔루션이 필요하지 않을 수도 있습니다 .
예를 들어, 누군가가 내 프로젝트의 GitHub 지원에 공헌하고 싶다면 GitHub 통합 테스트 만 실행할 수 있어야합니다.
통합 테스트를 무한한 수의 "그룹"(?)으로 나눈 다음 "Github"그룹에 속하는 모든 테스트를 실행할 수있는 방법이 필요할 것입니다.

— 기독교 스펙트
소스

현재 설정이 제대로 된 것 같지만 약간 조정 해 보았습니다.

모든 통합 테스트를 수행 할 수 있도록 잠재적 인 기여자는 GitHub, Bitbucket, GitLab 등에서 자신의 사용자, 조직 및 테스트 리포지토리를 생성하고 누가 더 많은 정보를 알고 있으며 환경 변수에 추가 할 수 있습니다. .bat 버전.

그렇습니다. 그러나 기고자들이 프로젝트에서 PR을 만들기 전에 반드시 모든 통합 테스트를 실행할 필요는 없습니다. PR이 작성되면 CI는 전체 테스트 스위트를 실행합니다.

어떻게 든 쉽게 실행할 수없는 테스트 스위트를 갖는 것이 일반적입니다. 많은 조직에서 실행하는 데 며칠이 걸리는 테스트 스위트를 유지 관리하므로 개발자는 실행하기 쉬운 테스트를 선택적으로 실행하고보다 엄격한 테스트를 위해 코드를 푸시해야합니다. 나는 같은 접근법을 제안하고 있습니다.

정규 / 신뢰할 수있는 기고자에게는 프로젝트에서 실제 기고자를 만들어서 PR을 만들기 전에 지점에서 CI를 실행할 수 있도록해야합니다 .

즉, 기고자가 전체 테스트 스위트를 실행하는 것을 방해 하지 않습니다 . 그들은 자신의 GitHub 자격 증명을 제공하거나 자신의 테스트 계정을 만들 수 있으며, 정기적으로 기고자들이 그렇게 할 것입니다.

내가 제안하는 조정은 다음과 같습니다.

먼저 대부분의 테스트 적용 단위 테스트를 수행하십시오. 이것들은 코드베이스의 모든 가지를 다루어야합니다.

둘째, 엔드 포인트가 조롱되는 통합 테스트를 작성하십시오. 가짜 GitHub Rest 서비스를 시작하여 이러한 API의 전송 계층을 조롱하고 HTTP 요청 / 응답 흐름을 시뮬레이션 할 수도 있습니다. 예를 들어 (의사 코드로) :

// Test failed authentication to GitHub
val server = new WebServer("localhost", 9453, { request =>
    return Response(401, "unauthenticated")
})
server.start()
val backupService = new GitHubBackupService("http://localhost:9453")
backupService.backup must throw UnauthenticatedException()
server.stop()

이 테스트는 더 복잡 할 수 있지만

가짜 계정 및 리포지토리를 만들지 않고 테스트
실제 GitHub로 시뮬레이션하기 어려운 고장 조건을 테스트하십시오. 예를 들어 502 응답, 연결 시간 초과, 비정상 / 분석 할 수없는 응답 본문.

셋째, 일반 빌드에서 특별한 지식이 필요한 테스트를 비활성화하십시오. 대부분의 빌드 관리 도구에는 통합 테스트를 분리하거나 테스트에 태그를 지정하고 선택적으로 실행할 수있는 방법이 있습니다. 기고자는 사전 구성 없이 소프트웨어를 빌드하고 테스트 할 수 있어야 합니다. CI의 각 빌드 후에 전체 테스트 스위트를 실행해야합니다.

마지막으로, 테스트 문서에 테스트와 실행 방법을 문서화하여 기고자가 실행할 수 있도록합니다.

— 사무엘
소스