CI/CD / DevOps

iOS 模擬器 UI 測試並行怎麼配?2026 企業 CI 指南

Apple 在 Xcode 10 發佈說明中已記錄 XCTest 平行測試及其模擬器執行機制;但這不代表所有 UI 用例都能安全並行。建議先依共享狀態、外部依賴與順序要求分組,再逐步提高並行度;只有獨立執行的測試才進入並行試點,並用同一份真實建置回放驗收。 增加 worker 不保證整條流水線變快;是否擴充 Mac 資源,應由穩定性與端到端記錄決定。

本文適合負責 iOS 自動化測試、測試計畫及偶發失敗處理的測試負責人。
也適合需要設定 Mac CI 並發、釐清模擬器與主機瓶頸的平台工程師。
企業 IT、技術與發布負責人可用本文建立擴容及發布放行依據。

由測試負責人先界定可並行的用例

先不要按測試數量切分 worker,也不要因為某個測試偶爾通過,就把它納入平行執行。測試負責人應檢視現有測試程式、失敗記錄與資料依賴,逐個判斷用例的狀態是否能獨立建立、讀取與清除。

可先按下列條件分類:

  • 可先試行並行:每個用例都能獨立啟動,不依賴其他測試留下的登入狀態、檔案或後端資料;重跑時也不會改變其他用例的前置條件。
  • 隔離後再並行:測試會使用共用帳號、伺服器端資料、測試檔案或固定裝置識別,但團隊能為每次執行建立不同資料或獨立環境。隔離完成並經回放確認前,應維持原有執行方式。
  • 保持串行:用例有明確順序依賴、必須驗證前一測試造成的狀態,或依賴無法拆分的共享資源。若暫時不能改寫,需記錄串行原因與維護責任人。

測試計畫可以設定納入或排除的測試及執行設定;Apple 的測試組織與回饋改善文件說明了這類規劃方式。排除用例不是單純的提速開關:每項排除都應附上原因、影響的測試範圍與責任人,並納入定期檢視,避免快速回饋計畫逐漸變成覆蓋範圍不明的發布檢查。

由測試負責人分開快速回饋與完整驗證

測試負責人應按測試目標、標籤及執行頻率整理測試計畫,而非將整個測試集一概設為並行。快速回饋計畫可以優先執行獨立、頻繁且能迅速指出變更問題的測試;提交前完整驗證則需保留必要的整體覆蓋與串行依賴。

XCTest 文件與執行測試及解讀結果的說明可用來核對目前的測試執行與結果檢視方式。測試責任人還應確認失敗結果能追溯到具體測試、提交版本及執行設定;若測試計畫的排除清單沒有責任人或補回條件,就不應視為完成分組。

由 CI 平台工程師控制並行與模擬器隔離

平台工程師要在既有 CI 命令和工作流程中控制測試並行度,並保存每次執行使用的 Xcode、測試計畫、模擬器設定、日誌與測試結果。XCTest 平行測試可能透過 runner 程序及模擬器複製等方式執行;實際行為須依使用中的 Xcode 版本文件和團隊執行記錄核對,不能把模擬器複製直接當成主機層級的安全隔離。

可依下列條件選擇執行路徑:

  • 若測試使用獨立模擬器、測試資料互不衝突,而且串行與平行回放結果一致,選擇逐步增加並行執行槽位。
  • 若結果出現共享狀態競爭,先隔離帳號、資料或檔案;隔離前將相關測試回退串行。
  • 若測試與隔離都沒有明顯瓶頸,但節點資源觀測顯示承載不足,再將增加 Mac CI 資源列入評估;不要只因 worker 數增加就推定需要擴容。

注意: 模擬器克隆或獨立 runner 解決的是測試執行層面的分配問題,不等同於替不同團隊、機密或簽名資產建立完整的主機安全邊界。若工作負載涉及敏感資料,仍須另行驗證帳號、檔案與憑證的隔離方式。

Xcode 的元件與模擬器執行環境也可能影響結果;可參考 Apple 的Xcode 元件下載與安裝說明,並在每個 CI 節點核對實際安裝狀態。不要只依據開發者工作站的設定推定所有 Mac 節點環境一致。

由企業 IT 以節點證據判斷是否擴容

企業 IT 與平台負責人要比較同一份測試集在串行和候選並行設定下的實際表現。先以單一執行槽建立串行基線,再逐次增加執行槽位;每輪盡量固定提交、測試計畫及模擬器設定,否則差異可能來自程式或環境變更,而非並行本身。

驗收記錄至少保留三類可比較的量化資料,實際數值從團隊 CI 記錄讀取,不預設通用門檻:

  • 端到端耗時:從工作開始到測試產物完成的時間,而非只看測試程序的局部時間。
  • 失敗與重跑結果:失敗用例、重試後結果,以及相同條件回放是否重現。重跑後通過也要保留原始失敗,不能只記最後狀態。
  • 節點資源觀測:執行期間的處理器、記憶體及磁碟等使用情況,並與耗時、失敗時間點對照。

如果增加並行後局部測試時間縮短,整體工作卻因等待、資源競爭或重跑而沒有改善,這不是擴容依據。只有在可重現的測試中,節點資源不足與端到端延遲或失敗有明確關聯,才進一步比較增加 Mac 節點、調整工作分流或降低同時執行量。任何承載能力結論都應以團隊自己的工作負載驗證,不能直接套用未經核實的固定 worker 數或提速比例。

由發布負責人設定放行與回退門檻

發布負責人需把測試結果產物、失敗重現方式與串行回退條件納入發布流程。出現失敗時,使用相同提交與測試資料分別進行串行和平行回放:兩種方式都失敗時優先檢查應用程式或測試邏輯;只有平行方式失敗時,再檢查共享狀態、模擬器執行及節點競爭。若無法重現或歸因,應暫停擴大並行範圍,而不是直接把重試當作修復。

可由測試、平台、企業 IT 與發布負責人共同勾選放行條件:

  • [ ] 測試範圍及排除原因可追溯,並有維護責任人。
  • [ ] 並行結果可用同一提交與測試條件重現,且原始失敗記錄有留存。
  • [ ] 失敗可區分為應用程式缺陷、測試不穩定或並行競爭;無法歸因時不擴大試點。
  • [ ] 測試產物、日誌與執行設定可供事後檢查。
  • [ ] 串行回退路徑已實際驗證,能在發布受阻時恢復原有檢查流程。

此外,模擬器不能取代所有真機驗證。Apple 明確說明模擬器與實體裝置並不等同,也不會重現真實裝置的全部效能或功能;涉及硬體、實際效能或裝置特性的驗證,應依模擬器與實體裝置的適用說明保留對應真機測試。

常見問題:用團隊記錄決定試點邊界

在 Xcode 中開始平行執行前,先設定哪些項目?

先檢查測試計畫納入的用例、執行設定及測試資料隔離,再以串行結果建立基線;之後在 CI 工作流程逐步增加並行執行槽位。每次變更都保存結果與日誌,並核對目前 Xcode 版本的行為,不要把本機成功直接當成 CI 已驗收。

平行後出現偶發失敗,如何判斷是不是競爭條件?

保存失敗測試、日誌與並行設定,使用同一提交分別進行串行與平行回放。若串行穩定而平行失敗,檢查共用帳號、後端資料、檔案與測試順序,先隔離或回退相關用例;在能重現並說明原因前,不應只靠重試放行。

哪些 UI 測試適合平行,哪些應保持串行?

狀態可獨立建立與清除、資料不互相覆寫且能單獨啟動的測試,適合先試行並行。依賴前一用例、修改共用資料或需要固定順序的測試,應先重構隔離;若無法隔離,就維持串行並記錄理由、範圍與責任人。

Mac CI 平行測試要如何驗收穩定性?

至少保存同一測試集在串行與候選並行設定下的端到端耗時、失敗與重跑結果、節點資源觀測,以及可重現的日誌。測試、平台與發布負責人還需確認失敗歸因與串行回退方式;若只看到單次耗時下降,卻沒有穩定性證據,不足以放行擴大並行。

並行試點確認受節點限制後,再評估 Mac 資源

若團隊的記錄顯示並行執行已受 Mac 節點承載能力限制,可先查閱遠端 Mac 使用與環境管理說明,再依實際流水線的耗時、失敗及資源觀測評估需要增加的環境。若瓶頸其實是共享資料或不穩定測試,增加節點不會自動解決問題;若只是短期試點或發布高峰,租用 KuzCloud 的遠端 Mac 可避免先為每位開發者採購實機,也可按團隊需求調整資源。若負載長期穩定、需要實體介面或專屬硬體,購置自有 Mac 可能更合適;決策應以團隊基線和持有成本為準。需要評估遠端執行環境時,可由KuzCloud 控制台進一步確認可用方式。

為 iOS UI 測試擴充專屬 Mac 算力

KuzCloud 提供 Apple M4 專屬實體 Mac mini,避免共享 CPU 資源,讓您更穩定地執行模擬器測試與 CI 工作負載。

完整 root 權限可自行安裝 Xcode、iOS Simulator 與 CI 工具,依團隊既有流程設定測試環境。