Token 帳單爆表?claude-context 與傳統 RAG 降本實測對比
Token 帳單為何在大型 repo 爆表
全端新手常撞同一道牆:
- 「請讀完整個 repo」 — 200 個檔 × 約 2k tokens ≈ 40 萬 tokens,模型還沒回答就先燒掉多美元(前沿 API)
- Grep 螺旋 — Agent 把每個命中以整檔打開;context 塞滿無關 import
- 失憶式重構 — 第 3 輪忘了第 1 輪,因為主機截斷了歷史
在 Cursor 或 Claude Code 的症狀:「context full」、壓縮摘要、或檔案內容被靜默丟棄。
解法不是換更大的模型,而是檢索:每次只取 8–20 個小塊(每塊約 200–600 tokens),而不是 8 個整檔(每檔 3k+ tokens)。claude-context 與 LlamaIndex RAG 都在優化這件事,只是工程體驗不同。
兩種路線一表看懂
| 維度 | claude-context(MCP) | 傳統 LlamaIndex RAG |
|---|---|---|
| 本質 | 現成 MCP + 索引器(@zilliz/claude-context-mcp) | 自行組裝的 Python 框架 |
| 分塊 | AST 感知 + Merkle 增量索引 | 自選(SentenceSplitter、CodeSplitter 等) |
| 搜尋 | 混合 BM25 + 稠密向量 | 多為向量;可選混合 |
| 向量庫 | Milvus / Zilliz Cloud(或相容) | Chroma、Qdrant、pgvector、LanceDB… |
| IDE 整合 | Claude Code、Cursor(MCP) | 自寫腳本、LangChain、自訂 bot |
| 首次可搜尋 | 約 30–90 分鐘(10 萬–50 萬 LOC) | 調管線常需數小時到數天 |
| 持續成本 | 嵌入 API + 向量託管 | 相同,但每一行都由你掌控 |
| 最適合 | IDE 內「搜我的 repo」 | 混合語料、僅 on-prem、研究筆記本 |
外部參考:LlamaIndex 文件、claude-context GitHub。
claude-context 如何運作(MCP 路徑)
Your repo ──► AST chunker + embeddings ──► Milvus/Zilliz index
│
User question ──► Claude/Cursor ──► MCP search_code ──► top-K chunks ──► model context
典型 MCP 工具:index_codebase、search_code、get_indexing_status、clear_index。
程式碼為何需要混合搜尋:純向量容易漏掉精確符號(如 UserAuthService_v2)。BM25 抓識別字;向量抓「JWT 過期在哪裡驗證?」這類語意。
增量索引:Merkle 樹式變更偵測只重新嵌入改動檔——活躍分支上反覆跑 Agent 時很重要。
安裝概要(Claude Code,上游 README 建議 Node 20–23):
claude mcp add claude-context \
-e OPENAI_API_KEY=your_key \
-e MILVUS_TOKEN=your_zilliz_token \
-- npx @zilliz/claude-context-mcp@latest
進入 session 後:先 index 一次,再用自然語言查詢。若還要把內部 API 接進同一主機,可搭配自訂 MCP 模式。
傳統 LlamaIndex RAG(DIY 路徑)
Documents ──► LlamaIndex loaders ──► chunk ──► embed ──► VectorStoreIndex
│
Question ──► query_engine.query() ──► retrieved nodes ──► LLM prompt
僅針對程式碼的最小 Python 骨架:
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.openai import OpenAIEmbedding
Settings.embed_model = OpenAIEmbedding(model="text-embedding-3-small")
docs = SimpleDirectoryReader("~/my-monorepo", recursive=True).load_data()
index = VectorStoreIndex.from_documents(docs) # 一次性;正式環境請 persist
qe = index.as_query_engine(similarity_top_k=8)
print(qe.query("Where is rate limiting configured for the public API?"))
你要自己補:忽略規則(.git、node_modules)、語言感知切分、metadata 過濾(path:packages/api/**),以及若想要 MCP 體驗還需再包一層。
優勢:同一套 stack 可索引 PDF 維運手冊 + Jira 匯出 + 程式碼——claude-context 以程式碼為先。
Token 試算:稽核情境範例
情境:「找出所有 auth middleware,並列出哪些路由略過 CSRF。」 Monorepo 約 1,200 檔,答案分散在 4 條路徑、約 6 個函式。
| 策略 | 載入模型的 Token(數量級) | 備註 |
|---|---|---|
貼上 src/ 樹 + 10 個隨機檔 | 12 萬–25 萬 | 最快破產方式 |
| Agent grep + 讀整檔(5 次命中) | 2.5 萬–6 萬 | 每檔大量樣板 |
claude-context search_code(top 8 chunks) | 3k–8k | 以函式為粒度 |
| LlamaIndex top-8 nodes(調好 splitter) | 3k–1 萬 | chunk 約 512 tokens 時類似 |
| 理想人工(只開 2 檔) | 約 2k | RAG 的目標狀態 |
節省區間:以檢索為先的工作流,在「探索型」任務上常比 naive「全讀」低 70–90%——單檔一行修改用 grep 仍近乎免費。
隱性成本:首次建索引(50 萬 LOC 嵌入約 $0.50–$5 一次)、向量庫託管(免費層常 $0–25/月)、大型 merge 後需重索引。
情境選型
情境 A — Cursor / Claude Code 日常、GitHub monorepo
你想要不用 @ 也能問「billing webhook 驗證器在哪」。claude-context 自帶 MCP 與混合搜尋;除非你本機已在跑 Python 資料任務,否則 LlamaIndex 偏重。主機選型可參考Claude Code 免費替代方案,再疊一層 claude-context MCP。
情境 B — 合規 air-gap、不用 Zilliz 雲
用 LlamaIndex + 本機 LanceDB/Chroma 或 semantic-code-mcp(本機 sentence-transformers)。claude-context 預設路徑常假設外部嵌入 API 與 Milvus——若必須離線,請明確規劃離線嵌入。
情境 C — Agent 農場(OpenClaw、ECC)夜間掃 repo
OpenClaw 多智能體扇出會放大 Token 消耗。每個 repo 一個共用索引,所有 worker 查索引,勝過各自重讀 src/。兩套都行;Python worker 較易呼叫 LlamaIndex,MCP 主機較易接 claude-context。
情境 D — 長對話「context 一直重置」
檢索不會撐大聊天歷史,但會縮小每輪注入。仍建議:每個任務開新 session、只 pin 檢索到的 chunks、避免重貼同一 2k 行檔。工具鏈膨脹可見ECC 安裝指南。
八步並行 Runbook
步驟 1–4 — 共用準備
- 量測基線 — 記一週「grep + 整檔閱讀」的 provider 帳單。
- 選一個試點 repo — 先單一服務,不要整個 monorepo。
- 加上忽略規則 — 排除
node_modules、dist、.git、產生的 protobuf。 - 定 3 個基準問題 — 例如 auth、billing webhook、feature flag;索引後重問。
步驟 5–8 — 路徑 A:claude-context
- 註冊 MCP(上方指令);確認
claude mcp list有claude-context。 - 對試點 repo 根目錄執行
index_codebase;等get_indexing_status完成。 - 在 Claude Code 問:「用 search_code:admin 路由哪裡關閉 CSRF?」 — 確認引用是 chunk 級。
- 記該輪 Token,對照步驟 1 的基線問題。
步驟 5–8 — 路徑 B:LlamaIndex
- 在與程式碼同機的 venv:
pip install llama-index llama-index-embeddings-openai。 - 首次建索引後 persist:
StorageContext.from_defaults(persist_dir="./rag_index")。 - 用約 20 行 CLI 或 FastAPI 包
query_engine,供 IDE 腳本呼叫。 - 重跑相同 3 個基準問題;比對答案品質與帳單上的嵌入費用。
本機託管備註(選用)
建索引偏 CPU + 磁碟,用 API 嵌入時不必 GPU。常駐 Mac 16 GB RAM 可承載 Milvus Lite/小型索引的中型 repo;若同時跑本機 Ollama做 $0 推論,建議 24 GB。容量可對照M4 記憶體矩陣——一句話 sizing,非推銷。
排障
MCP search_code 回傳空
原因:索引路徑錯或過期。修復:用絕對路徑重跑 index_codebase;確認 ignore 沒把 src/ 跳過。
LlamaIndex 答錯套件
原因:chunk 混了 monorepo 套件。修復:加 metadata 過濾 MetadataFilter(key="file_path", value="packages/api")。
上了 RAG 帳單仍高
原因:Agent 搜尋後仍讀整檔。修復:系統提示寫明:「僅用檢索 chunks;除非 chunk 不足否則不要 cat 整檔。」
Node 24 安裝 claude-context 失敗
原因:上游限制 Node <24。修復:先 nvm use 22 再執行 npx @zilliz/claude-context-mcp。
建議路徑
| 你的情況 | 建議 |
|---|---|
| Claude Code / Cursor,要最快見效 | claude-context MCP |
| 文件 + 程式碼 + 工單同一 retriever | LlamaIndex DIY |
| 零雲端向量庫 | LlamaIndex + 本機 LanceDB/Chroma |
| 已有自訂 MCP | 再加 claude-context 當第二個工具 |
| 只改 200 行單檔 | 兩者都不用 — 直接開檔 |
若 X → Y:主機會 MCP、痛點是 repo 搜尋 → 先 claude-context。痛點是 自訂語料 → 先 LlamaIndex。
常見問題
claude-context 等同 Claude 內建專案知識嗎?
否。專案上傳由主機管理。claude-context 是獨立索引器,具混合程式碼搜尋與增量同步——更接近專用 code search engine。
LlamaIndex 能取代 claude-context 嗎?
在程式碼問答上功能重疊。LlamaIndex 更廣、可自架;claude-context 更窄、IDE 整合深。團隊可在 CI 用 LlamaIndex、IDE 用 claude-context(需額外 glue)。
RAG 能修正錯誤編輯嗎?
不能。它改善發現。你仍需要測試、review、小範圍 diff。錯誤檢索會誤導——務必抽查引用路徑。
多久重新索引?
大型 merge 後,或活躍 main 上每週。claude-context 增量索引減少全量重建;LlamaIndex 可對變更檔用 refresh_ref_docs 類模式。
大陸網路與 npm 怎麼辦?
開發者常在穩定的遠端開發機(SSH)上索引,讓 npm/pip 與嵌入 API 路徑一致——與OpenClaw 遠端設定類似,不綁特定廠商。