OpenAI API 推出 12 小時提示詞緩存,Codex 和 Work 登彔用戶的緩存永久保留

據PANews發布,PANews 10月21日消息,據 OpenAI Developers,OpenAI API 現在支持 12 小時的提示詞緩存(prompt caching)。開發者可以把共享的指令、工具和上下文緩存更長時間,卽使請求之間隔了幾個小時,也能按較低的緩存輸入價格計費。這項功能主要面向持續運行、全天復用上下文的智能體。Tibo(@thsottiaux)隨後補充,Codex 和 Work 的登彔用戶的緩存將永久保留。用戶回到舊對話,或者隔幾小時再繼續時,都能命中緩存,不會產生額外費用。
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊