Google launches “implicit caching” to make accessing its latest AI models cheaper | TechCrunch
Google launches 'implicit caching' to make accessing its latest AI models cheaper | TechCrunch
Google is rolling out a feature in its Gemini API, implicit caching, that the company claims will make its latest AI mod...続きを読む
techcrunch.com
GoogleはGemini APIに「暗黙のキャッシング」という新機能を導入しました。
GoogleのGemini 2.5 Proおよび2.5 Flashモデルをサポートしています。この機能により、開発者は最新のAIモデルをより安価に利用でき、最大75%のコスト削減が期待できます。
暗黙のキャッシングは自動的に有効化され、開発者が手動で設定する必要がなく、以前の明示的なキャッシングに比べて手間が省かれます。
キャッシュを利用するための最小トークン数も引き下げられ、リクエストが以前のものと共通のプレフィックスを持つ場合にキャッシュヒットが発生します。
同社は、暗黙的なキャッシュヒットの可能性を高めるため、リクエストの先頭に繰り返しのコンテキストを残すことを推奨しており、リクエストごとに変化する可能性のあるコンテキストは、最後に追加すべきだと述べている。
ただし、Googleはこの新機能の効果について第三者による検証を提供していません、そのため、初期の利用者のフィードバックが重要です。
Gemini 2.5 Models now support implicit caching – Google Developers Blog
https://developers.googleblog.com/en/gemini-2-5-models-now-support-implicit-caching/?linkId=14353307
