このビデオチュートリアルでは、LLM（Language Model）アプリケーションにおいてキャッシュ技術を使用してOpenAI APIのコストを節約する方法について説明します。キャッシュとは、元のプロンプトとレスポンスを一時的なストレージであるキャッシュに保存し ...

AIを作る側に回ると、最初にぶつかるのは“精度”より“待ち時間”と“請求額”だったりする。せっかく良い機能を作っても、遅い・高い・回らないで止まる瞬間がある。この動画は、そんな現実に効く地味だけど超強い改善策「Prompt Caching」を、理屈だけ ...