Vissza a hírekhez
12 órás prompt-gyorsítótárazás érkezett az OpenAI API-ba
A fejlesztők ezentúl akár 12 órán át is megőrizhetik a kontextust az OpenAI API-ban, ami jelentősen csökkenti a költségeket.
0
Az OpenAI bejelentette, hogy az API-ban már 12 órás prompt-gyorsítótárazás (prompt caching) is választható. Ez a lehetőség különösen a folyamatosan működő AI-ügynökök és összetettebb rendszerek számára hasznos, amelyek egész nap újrahasznosítják ugyanazt a kontextust.
A fejlesztők így hosszabb ideig tarthatják gyorsítótárban a megosztott utasításokat, eszközleírásokat és kontextust. Ezáltal a kedvezőbb, gyorsítótárazott bemeneti tarifát fizetik még akkor is, ha a kérések között több óra telt el.
Az eredeti szöveg (OpenAI Devs (X))
You can now choose 12-hour prompt caching in the API.
Persistent agents, like dots, reuse context throughout the day.
You can keep shared instructions, tools, and context cached longer and pay the lower cached-input rate, even when requests are hours apart.