內容快取

在典型的 AI 工作流程中,您可能會反覆將相同的輸入權杖傳遞至模型。Gemini API 提供兩種不同的快取機制:

  • 隱式快取 (Gemini 2.5 模型會自動啟用,不保證可節省費用)
  • 明確快取 (大多數模型可手動啟用,保證節省費用)

如果您想確保節省費用,但願意增加開發人員工作量,則可使用明確快取。

隱含快取

所有 Gemini 2.5 模型都會預設啟用隱式快取功能。如果要求命中快取,系統會自動將節省的費用轉移給您。你不需要採取任何行動,這項異動將於 2025 年 5 月 8 日生效。如要使用內容快取,2.5 Flash 的輸入權杖數下限為 1,024,2.5 Pro 則為 4,096。

如要提高隱含快取命中的機率,請採取下列做法:

  • 嘗試在提示開頭放入大型和常見內容
  • 嘗試在短時間內傳送具有類似前置字串的要求

您可以在回應物件的 usage_metadata 欄位中,查看快取命中次數。

明確快取

使用 Gemini API 的明確快取功能,您可以將部分內容傳送至模型一次、快取輸入權杖,然後在後續要求中參照快取的權杖。在特定量級下,使用快取權杖的成本會比重複傳遞相同權杖主體更低。

快取一組權杖時,您可以選擇快取要保留多久,權杖才會自動刪除。這段快取時間稱為「存留時間」(TTL)。如未設定,TTL 預設為 1 小時。快取費用取決於輸入權杖大小,以及您希望權杖保留多久。

本節假設您已安裝 Gemini SDK (或已安裝 curl),並已設定 API 金鑰,如快速入門所示。

使用 OpenAI 程式庫進行明確快取

如果您使用 OpenAI 程式庫,可以透過 extra_body 上的 cached_content 屬性啟用明確快取。

使用明確快取的時機

如果較短的要求會重複參照大量初始脈絡,就特別適合使用脈絡快取。請考慮在下列用途使用內容快取:

  • 包含大量系統指令的聊天機器人
  • 重複分析冗長的影片檔案
  • 針對大量文件集重複查詢
  • 頻繁分析程式碼存放區或修正錯誤

明確快取如何降低成本

情境快取是付費功能,旨在降低整體營運成本。計費依據下列因素:

  1. 快取權杖數:快取的輸入權杖數,納入後續提示時會以較低的費率計費。
  2. 儲存時間:系統會根據快取權杖的儲存時間 (TTL),按快取權杖數量的 TTL 時間計費。存留時間沒有上下限。
  3. 其他因素:系統會收取其他費用,例如非快取輸入權杖和輸出權杖的費用。

如需最新定價詳細資料,請參閱 Gemini API 定價頁面。如要瞭解如何計算權杖,請參閱權杖指南

其他注意事項

使用內容快取時,請注意下列事項:

  • 使用內容快取時,2.5 Flash 的最低輸入權杖數為 1,024,2.5 Pro 則為 2,048。最大值與指定模型相同。(如要進一步瞭解如何計算權杖,請參閱權杖指南)。
  • 模型不會區分快取權杖和一般輸入權杖。快取內容是提示的前置字元。
  • 內容快取沒有特殊費率或用量限制,適用 GenerateContent 的標準費率限制,且權杖限制包含快取的權杖。
  • 快取服務的建立、取得及列出作業會傳回 usage_metadata 中的快取權杖數量,使用快取時也會傳回 GenerateContent 中的快取權杖數量。