CI/CD / DevOps

Claude 3.5 Sonnet 退役後,LiteLLM 遷移驗收怎麼做?(2026)

Anthropic 官方模型生命週期紀錄列明,Claude 3.5 Sonnet 的退役日期為 2025-10-28,可在官方模型退役紀錄核對。結論是:Claude 3.5 Sonnet 已退役,不應再當成生產端點;先選定目前仍可用的模型,再完成 Claude 3.5 Sonnet LiteLLM 遷移驗收,不能只以閘道回應成功作為放行依據。

仍有舊模型名稱或配置殘留的開發者,可依本文排查並驗收遷移。
以 LiteLLM 統一接入模型的團隊,可將檢查項目納入替換模型後的回歸流程。
維護 AI 程式開發工具鏈的工程師,可用這套條件確認功能與故障處理是否符合預期。

先確認退役狀態,再選定遷移目標

Claude 3.5 Sonnet 退役後,舊 API 請求會如何處理,不能只靠模型名稱推測。實際結果可能取決於目前的端點狀態、閘道設定,以及請求是否已被重新映射;因此,不能把舊別名仍留在配置中,誤當成舊模型仍可呼叫。應先核對 Anthropic 的生命週期頁面,再以實際使用的官方模型識別碼確認目標狀態。替代型號與可用狀態會變動,發布或驗收當下都要重新查證。

也要區分「別名仍可被客戶端呼叫」與「底層模型仍存在」:前者只代表入口名稱尚未移除,並不代表服務端仍接受原本的模型識別碼。若舊請求遇到錯誤,先記錄回應內容與請求所指向的底層模型,不要直接把錯誤歸因於限流或認證。

按模型映射檢查 LiteLLM 配置

LiteLLM 模型路由驗收的首要工作,是確認客戶端傳入的別名、閘道配置中的模型名稱,以及供應端實際使用的 API model ID,三者是否明確指向同一個遷移目標。LiteLLM 的模型管理文件說明模型可透過配置管理;驗收時應以實際生效的配置為準,而不是只檢查設定檔裡有沒有新名稱。

建議將以下項目逐一勾選:

  • [ ] 客戶端使用的模型別名已確認,且文件中註明其對應的底層模型。
  • [ ] provider 與實際 API model ID 已更新至當前可用目標,沒有留下仍指向退役模型的路徑。
  • [ ] 測試請求確實到達預期目標;日誌或可觀測資訊能區別客戶端別名與底層模型。
  • [ ] 測試、預備與正式環境的配置差異已記錄,避免只改到其中一個環境。
  • [ ] 舊別名若暫時保留,已明確標示用途與撤除條件,不讓新舊指向形成隱性依賴。

常見的隱性成本是「名稱看似相同,實際路徑不同」:有的客戶端直接呼叫 provider,有的則先經過代理;若只在單一入口測試,另一條仍使用舊 model ID 的路徑可能要到正式流量才暴露。對照配置與路由時,可參考LiteLLM 路由文件,並在團隊的變更記錄中保存實際生效的映射。

用客戶端實測協定與功能

如何判斷 AI 程式開發客戶端是否兼容新的 Claude API 模型?應使用團隊真正採用的客戶端發出代表性請求,而不是只用閘道測試工具確認端點可回應。閘道接受請求,並不能證明客戶端所依賴的串流輸出、工具呼叫、參數格式與多輪互動都能完整運作。

驗收時,至少要在實際客戶端中檢查:

  • [ ] 認證資訊能送到預期入口,且不會因代理設定或環境變數不同而讀取錯誤憑證。
  • [ ] 串流輸出能逐段顯示;遇到連線中斷時,客戶端能呈現錯誤或恢復狀態,而非停在等待畫面。
  • [ ] 工具呼叫的名稱、參數與回傳結果能正確往返,並且支援團隊原有的多輪工作流程。
  • [ ] 常用請求參數不會被閘道或客戶端忽略、改名或以不相容格式傳遞。
  • [ ] 實際使用的客戶端與模型組合已記錄;不能把某個客戶端的測試結果推論為所有客戶端都兼容。

對使用相容介面的命令列工具者,可按實際安裝方式查看LiteLLM 的 Codex CLI 設定說明,再以團隊所用版本與設定進行驗證。這類文件只能協助理解特定整合方式,不能代替自家客戶端的實測。若使用提示範本或變數,還需比對遷移前後的訊息結構;Anthropic 對提示範本與變數的說明可作為檢查提示格式的參考,但不能據此假設新舊模型輸出完全一致。

以代表性程式任務驗收行為差異

Claude 模型遷移後怎樣測試程式碼生成品質?核心不是要求新模型逐字複製舊答案,而是檢查它能否完成團隊實際依賴的任務,並將不可接受的退化提早找出。模型替換可能改變程式風格、推理步驟、工具使用方式與結果格式,沒有依據就不應宣稱新舊等價,也不宜用未經實測的速度或品質數字作結論。

先整理團隊常見任務,涵蓋程式碼解釋、既有程式修改、測試生成,以及需要多輪工具呼叫的工作。每項測試應保存輸入、預期檢查方式與輸出;如果任務需要執行測試或檢查差異,就以可重複的檢驗方式判斷,而不是只看文字是否流暢。對重要程式碼修改,還要確認新模型是否遵守原有檔案結構、修改範圍與團隊規則。

下表可用來比較遷移前後的驗收重點;是否通過,應由團隊根據自己的基線與風險決定,不設定通用分數門檻。

驗收面向 建議檢查方式 不通過時的處理
程式碼解釋 以真實模組或錯誤訊息檢查說明是否符合現況 補入缺少的上下文,重新測試同類任務
程式修改 檢查修改範圍、需求符合度與未預期變更 暫緩放行,保留原路徑並調整提示或流程
測試生成 確認測試涵蓋指定行為,並可依團隊流程執行 分析失敗來自測試內容、工具呼叫或模型行為
多輪工具呼叫 檢查工具名稱、輸入參數、回傳結果與後續決策 在隔離環境重現,確認客戶端與路由責任邊界

注意:輸出文字看起來合理,不代表產生的程式碼已通過測試。若遷移前後的任務輸入或驗收方法不同,結果就不適合直接比較。

模擬路由故障,確認錯誤可以辨識

故障路由的驗收要分開看重試與 fallback:LiteLLM 架構文件描述代理處理請求的方式,而官方路由說明列出路由與 fallback 相關機制;具體行為仍須以正在使用的 LiteLLM 版本和設定為準。若把所有失敗都當成可重試的 429,不只可能延長等待,還會掩蓋認證、參數或備援端本身的問題。

在測試環境分別模擬主模型限流、認證失敗、請求逾時,以及備用模型不可用,逐一記錄最終走向。確認日誌能辨識原始錯誤與後續處理,也要確認錯誤沒有被轉成表面成功、空白內容或難以判斷的通用訊息。備用模型若成功回應,仍應視為另一種行為路徑,而不是原模型的等價替身。

依放行條件決定上線或回滾

以下條件分支可用來作為遷移決策工具:

  • 若官方模型狀態已核實、別名與底層 ID 對應清楚,且客戶端關鍵功能、代表性程式任務與故障路由均符合團隊標準,則可進入正式放行評估。
  • 若模型狀態或實際路由仍不明,先暫停上線,回到配置核對與請求追蹤,不以單次成功回應替代驗證。
  • 若功能基本可用,但代表性任務出現團隊無法接受的行為退化,則保留預備環境,補充回歸案例或調整工作流程後再評估。
  • 若錯誤無法觀測、備用路徑不可用,或回滾方式未經驗證,則不放行;先恢復已知可控的配置,再釐清故障來源。

放行前保存模型識別碼、配置差異、所用客戶端、測試任務及結果,並記下誰負責判斷是否回滾。任何成功率、錯誤門檻或可接受退化程度,都應由團隊依自身基線與風險設定,不應套用沒有來源的通用數值。

如果目前靠本機環境或一般遠端伺服器驗證,可能遇到客戶端作業環境不一致、憑證與權限管理分散,以及遠端桌面流程未涵蓋實際 Mac 工作方式等問題;但若團隊不需要 macOS 客戶端、不涉及相關工作流程,添置 Mac 環境就不是遷移驗收的必要條件。需要在遠端 macOS 環境重現客戶端操作時,租用 KuzCloud 的 Mac 可讓測試直接在目標作業環境進行,避免把本機差異誤判為模型問題;這仍不能替代 API 模型狀態與路由驗收。若要先了解環境與服務入口,可查看 KuzCloud 網站,需要協助時則可使用 KuzCloud 支援資訊。

為遷移驗收準備一台專屬遠端 Mac

使用 KuzCloud 的 Mac mini M4 實體專屬節點,建立獨立環境執行程式任務與部署流程測試。

提供完整 root 權限及 SSH、VNC 連線,方便安裝所需工具並依照團隊流程進行驗收。