CI/CD

iOS 시뮬레이터 UI 테스트 병렬 실행은 어떻게 구성할까? 2026 기업 CI 가이드

Apple의 Xcode 10 릴리스 노트에는 XCTest 병렬 테스트 실행 기능이 기록되어 있습니다. 다만 기능이 있다는 사실만으로 전체 빌드가 빨라지거나 모든 테스트가 안전하게 병렬화되는 것은 아닙니다. iOS 시뮬레이터 UI 테스트 병렬 실행은 먼저 의존성과 격리 조건으로 대상을 나눈 뒤 점진적으로 적용해야 합니다. 독립된 테스트는 별도 시뮬레이터에서 시험하고, 공유 상태나 순서 의존성이 있는 테스트는 직렬로 유지합니다. 최종 판단은 재현성과 전체 CI 결과를 기준으로 내립니다.

이 글은 기존 iOS 자동화 테스트의 실행 방식과 실패 기록을 검토하는 테스트 책임자를 위한 안내입니다.
Mac CI의 병목을 테스트, 시뮬레이터, 노드 자원으로 구분하려는 플랫폼 엔지니어에게도 적합합니다.
기업 IT와 기술 책임자는 실행 결과를 근거로 증설 필요성을 판단할 수 있습니다.

iOS 시뮬레이터 UI 테스트 병렬 실행 대상 분류

테스트 책임자는 테스트 이름만 보고 병렬 실행 대상을 정하지 않아야 합니다. 테스트가 읽고 쓰는 데이터, 외부 의존성, 실행 순서, 실패 기록을 확인해 다음처럼 분류합니다. 이는 고정된 비율을 적용하는 표가 아니라 팀 코드와 로그에 따라 갱신하는 판단 기준입니다.

분류 코드와 실행 기록에서 확인할 조건 권장 판단
바로 시험 가능한 테스트 테스트마다 계정과 데이터가 분리되어 있고, 다른 테스트의 완료 순서에 의존하지 않습니다. 외부 서비스 상태를 공유하지 않는지도 확인합니다. 격리된 시뮬레이터에서 작은 묶음으로 시험합니다.
격리 후 시험할 테스트 공통 계정, 서버 데이터, 파일, 키체인 또는 환경 설정을 사용하지만 테스트별로 분리할 방법이 있습니다. 테스트 데이터와 실행 환경을 분리한 뒤 병렬 묶음에 넣습니다.
직렬로 유지할 테스트 앞선 테스트의 결과를 이어받거나 공유 상태를 변경하며, 상태 초기화나 독립 실행이 보장되지 않습니다. 의존성을 제거할 때까지 직렬로 둡니다.

XCTest 문서와 XCUIAutomation 문서는 테스트 실행과 UI 자동화의 역할을 확인할 때 참고할 수 있습니다. 그러나 문서에 나온 기능 설명이 개별 앱의 데이터 격리를 보증하지는 않습니다. 실패 기록에서 특정 계정, 테스트 순서, 외부 API 응답이 반복해서 함께 나타나는지 확인하고, 그 연관성이 해소되기 전에는 병렬 대상으로 승격하지 않는 편이 안전합니다.

테스트 책임자의 계획과 제외 기준

테스트 책임자는 테스트 계획을 빠른 피드백용과 제출 전 전체 검증용으로 나누고, 테스트 목표와 태그, 실행 빈도에 맞춰 관리합니다. Apple은 테스트 계획에서 포함하거나 제외할 테스트와 실행 구성을 관리하는 방법을 안내합니다. 해당 설정은 테스트 계획 구성 문서에서 확인할 수 있습니다.

제외는 실행 시간을 줄일 수 있지만 검증 범위도 바꿉니다. 따라서 제외한 테스트마다 사유, 책임자, 재검토 조건을 남겨야 합니다. 불안정한 테스트를 빠른 피드백 계획에서 제외했더라도 전체 검증 계획에서 사라지지 않았는지 확인합니다. 태그와 계획 이름만으로 의도를 파악할 수 있게 정리하고, 변경이 발생하면 영향받는 테스트 범위도 함께 검토합니다.

  • [ ] 빠른 피드백 계획과 전체 검증 계획의 목적이 구분되어 있습니다.
  • [ ] 테스트 분류는 코드 의존성과 실패 기록에 근거합니다.
  • [ ] 제외한 테스트마다 사유와 책임자, 재검토 조건이 남아 있습니다.
  • [ ] 변경 전후에 실행되는 테스트 범위를 추적할 수 있습니다.

CI 플랫폼 엔지니어의 병렬 실행과 격리

플랫폼 엔지니어는 기존 CI 명령과 워크플로에서 병렬 실행 여부와 대상 수를 통제하고, 변경 내용을 작은 테스트 묶음부터 확인합니다. xcodebuild 옵션의 사용 가능 여부와 정확한 동작은 설치된 Xcode 버전의 문서로 검증해야 합니다. 실행 방법은 테스트 실행 및 결과 해석 안내를 기준으로 점검할 수 있습니다.

XCTest의 병렬 실행은 runner 프로세스와 시뮬레이터 복제본을 이용할 수 있습니다. 이 동작은 호스트 전체의 보안이나 데이터 격리를 뜻하지 않습니다. 시뮬레이터 간 테스트 데이터가 분리되어 있는지, 노드에 남는 파일이나 자격 증명이 다음 작업에 노출되지 않는지 별도로 검토해야 합니다. 병렬 실행 메커니즘은 Xcode 버전에 따라 달라질 수 있으므로, Xcode 10 릴리스 노트의 설명을 현재 환경의 보장으로 간주하지 말고 실제 실행 기록과 대조합니다.

실행 변경은 기존 설정을 덮어쓰지 않도록 별도 변경으로 관리합니다. 각 시험에서 사용한 커밋, Xcode와 시뮬레이터 설정, 대상 테스트, 병렬 설정, 결과 파일과 로그를 연결해 보관합니다. 이렇게 해야 실패가 재현될 때 코드 변경과 실행 환경 변화를 분리해 살펴볼 수 있습니다.

기업 IT의 노드 증거와 증설 판단

기업 IT는 worker 수를 먼저 정하기보다 같은 테스트 집합의 기준선을 확보해야 합니다. 비교 기록에는 전체 실행 시간, 테스트별 실패와 재실행 결과, 노드의 CPU·메모리 관측, 시뮬레이터 시작 지연과 대기 시간을 포함합니다. 모든 기록은 같은 코드와 가능한 한 같은 실행 조건에서 비교해야 합니다. 팀 기준선 없이 업계의 평균 수치나 특정 노드 수를 그대로 적용하면 병목을 잘못 진단할 수 있습니다.

Xcode 구성 요소 설치와 시뮬레이터 런타임 준비 상태도 확인 대상입니다. 필요한 구성 요소의 설치와 관리는 Xcode 추가 구성 요소 안내를 참고합니다. 구성 요소가 없거나 런타임이 달라 생긴 실행 문제를 노드 성능 부족으로 분류하지 않도록, CI 이미지와 테스트 설정의 차이를 먼저 확인합니다.

판단 조건

  • 테스트 간 공유 상태나 순서 의존성이 남아 있으면 병렬도를 올리지 말고, 독립 실행이나 초기화 경계를 먼저 만듭니다.
  • 격리된 묶음이 반복 실행에서 같은 결과를 내고 전체 작업 시간이 개선되면, 해당 묶음의 범위에서만 병렬 실행을 확대합니다.
  • 병렬도를 높여도 전체 시간이 줄지 않으면 테스트 병목과 시뮬레이터 대기, 노드 자원 관측을 비교합니다.
  • 자원 관측과 실행 기록이 노드 한계를 가리키고 설정 조정으로 해결되지 않을 때 Mac CI 증설을 검토합니다. 그 전에는 worker 추가가 해결책이라고 단정하지 않습니다.

배포 책임자의 안정성 문턱과 롤백

배포 책임자는 병렬 적용 여부를 통과한 빌드 하나만 보고 승인하지 않아야 합니다. 실패 테스트를 동일한 변경으로 다시 실행하고 직렬 결과와 비교해 원인을 분류합니다. 앱 결함, 테스트 자체의 불안정, 병렬 실행 중 공유 자원 경쟁은 서로 다른 조치가 필요한 문제입니다. 원인이 불분명하면 해당 테스트를 직렬 실행으로 돌릴 수 있어야 하며, 이전 설정과 결과를 복구할 수 있는지도 출시 절차에서 검증합니다.

시뮬레이터는 실제 기기의 모든 성능이나 기능을 재현하지 않습니다. Apple의 시뮬레이터와 실제 기기 실행 안내는 두 실행 환경의 차이를 설명합니다. 기기별 기능이나 실제 성능에 민감한 동작은 시뮬레이터 통과만으로 승인하지 말고 실기기 검증을 별도로 유지해야 합니다.

검토 항목 승인에 필요한 기록 보류 또는 롤백 조건
테스트 범위 계획, 태그, 제외 사유와 변경 이력을 연결할 수 있습니다. 실행 대상이 추적되지 않거나 제외 범위가 설명되지 않습니다.
병렬 재현성 사용한 설정과 로그를 보존하고 같은 변경의 결과를 비교할 수 있습니다. 실패가 반복되지만 테스트와 환경 조건을 재현하지 못합니다.
실패 귀속 앱 결함, 테스트 불안정, 실행 경쟁 조건을 구분해 기록합니다. 원인을 모른 채 재실행 성공만으로 통과 처리합니다.
복구와 기기 검증 직렬 복귀 경로와 필요한 실기기 검증을 확인합니다. 롤백이 시험되지 않았거나 시뮬레이터 결과를 실기기 검증으로 대체합니다.

팀 공동 승인과 자주 묻는 질문

테스트, 플랫폼, 배포 책임자가 함께 확인한 뒤 병렬 실행 범위를 승인합니다. 아래 항목 가운데 하나라도 확인할 수 없으면 확대를 보류하고, 기존 직렬 실행으로 되돌릴 준비를 유지합니다.

  • [ ] 테스트 범위와 제외 사유를 추적할 수 있습니다.
  • [ ] 병렬 실행 결과와 실패 로그를 다시 재현할 수 있습니다.
  • [ ] 실패 원인이 분류되고 담당 조치가 정해져 있습니다.
  • [ ] 직렬 복귀와 실기기 검증 경로가 확인되어 있습니다.
  • [ ] Mac CI 자원 변경은 팀의 실행 기록으로 정당화됩니다.

Xcode에서 병렬 설정을 시험할 때

사용 중인 Xcode의 테스트 계획과 실행 옵션을 확인한 뒤, 공유 상태가 없는 테스트 묶음부터 별도 설정으로 실행합니다. 결과 파일과 로그를 기존 기준선에 연결해 비교하고, 해당 버전에서 지원하는 옵션과 실제 동작이 일치하는지 확인합니다. 특정 설정이 모든 프로젝트에서 같은 효과를 낸다고 가정하지 않습니다.

간헐적 실패가 발생했을 때

실패 테스트를 직렬과 병렬 조건에서 재생해 결과를 비교합니다. 테스트 순서, 시뮬레이터별 로그, 계정과 서버 데이터의 공유 여부를 함께 조사하면 경쟁 조건과 앱 결함을 나누는 데 도움이 됩니다. 원인을 좁힐 수 없다면 해당 테스트를 병렬 묶음에서 제외하고 실패 근거와 재검토 책임을 기록합니다.

실기기 검증이 필요한 테스트

시뮬레이터는 실제 기기의 모든 기능과 성능을 재현하지 않으므로 실기기 검증이 필요한 범위를 별도로 유지해야 합니다. 실제 기기 환경에 민감한 동작은 자동화 피드백을 빠르게 받기 위한 시뮬레이터 실행과 출시 전 검증을 구분해 승인합니다. 두 검증의 결과는 서로 대체하지 않습니다.

Mac CI 자원 확장 여부

같은 테스트 집합의 전체 시간과 자원 관측, 실패 분류, 재실행 결과를 함께 살펴봅니다. 병렬도를 높여도 전체 시간이 개선되지 않으면 테스트 의존성이나 시뮬레이터 준비 지연이 원인일 수 있습니다. 노드 자원 부족이 반복해서 확인되고 설정 조정으로 풀리지 않을 때 증설을 선택합니다.

현재 보유한 Mac에서 시험 환경을 운영하면 장비 조달과 유지 관리가 필요하고, 클라우드 일반 가상 환경은 실제 macOS 테스트 실행 조건과 맞지 않을 수 있습니다. 장기간 고정 부하나 물리 연결 장비가 필요한 팀에는 자체 장비가 더 적합할 수 있습니다. 반면 병렬 시험이나 CI 용량 검증처럼 사용량이 변하는 단계에서는 불필요한 장비 구매와 유지 부담을 피할 방법도 비교할 만합니다. KuzCloud의 원격 Mac 이용 방식과 지역별 요금 안내를 실제 실행 기록과 대조해 보십시오. 노드 한계가 확인된 뒤에만 원격 Mac 자원을 시험하고, 기존 직렬 기준선과 결과물을 보존해 적합성을 판단하는 편이 합리적입니다.

시뮬레이터 병렬 실행을 위한 전용 맥 환경을 KuzCloud에서 시작하세요

전용 물리 맥의 연산 자원을 활용해 가상화 부담 없이 지속 통합 환경을 구성할 수 있습니다.

완전한 관리자 권한으로 필요한 개발 도구와 시뮬레이터를 설치하고 기존 실행 흐름을 옮겨 보세요.