La nouvelle tarification du cache de GPT-5.6 présente un point d'équilibre, et c'est le même pour Sol, Terra et Luna

Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
Lorsque OpenAI a lancé GPT-5.6 le 9 juillet sous la forme de trois niveaux (Sol, Terra et Luna), l'attention s'est principalement portée sur l'échelle des offres elle-même. Le changement le plus discret est pourtant le plus intéressant : les écritures en cache sont désormais facturées pour la première fois, à 1,25x le tarif d'input normal, tandis que les lectures en cache conservent leur remise existante de 90 %. Auparavant, le caching était un avantage presque gratuit. Il a désormais un coût, ce qui signifie qu'il existe aussi un point à partir duquel il n'est plus rentable.
Alors, où se situe ce point ? Nous avons créé un petit modèle de coûts pour le découvrir, sur les trois niveaux.
Le calcul, en bref
Pour une charge de travail d'agent typique, vous disposez d'un grand contexte partagé (system prompt, schemas de tools, contexte de repo) réutilisé sur de nombreux appels, plus une petite partie unique par requête. Le point d'équilibre se résume à trois chiffres : le prix d'input complet, le prix d'écriture en cache et le prix de lecture en cache. En résolvant l'équation pour obtenir le ratio écriture/lecture où le caching coûte la même chose que l'absence totale de caching, vous obtenez un ratio unique.
Voici la partie à laquelle nous ne nous attendions pas : ce ratio est identique pour Sol, Terra et Luna. Les écritures peuvent représenter jusqu'à 78,3 % des requêtes avant que le caching ne cesse d'être rentable, et ce chiffre ne varie pas en fonction de la taille du contexte, du volume de requêtes ou du niveau utilisé. OpenAI a appliqué les mêmes multiplicateurs 1,25x/0,10x de manière uniforme à toute la famille de modèles. Ainsi, le choix du niveau modifie vos coûts absolus, mais pas votre stratégie de caching.
Là où cela compte vraiment : le montant de vos économies, pas l'opportunité de cacher
La taille du contexte ne déplace pas le point d'équilibre, mais elle modifie l'ampleur des enjeux. En appliquant le même ratio écriture/lecture sur trois tailles de contexte :

Avec un petit contexte partagé (1k tokens), les économies sont réelles mais modestes, même avec des taux de réutilisation élevés. Avec un grand contexte (32k tokens, pensez aux longs system prompts et aux grands schemas de tools), le même taux de réutilisation génère des économies considérablement plus importantes, simplement parce qu'un volume plus grand bénéficie d'une remise à chaque lecture.
À quoi ressemble un trafic réel
Un taux de réutilisation fixe et propre constitue un bon exemple pédagogique, mais le trafic réel d'un agent n'est pas aussi ordonné. La durée des sessions (le nombre d'appels qui partagent un même contexte mis en cache avant qu'il ne change ou n'expire) varie énormément. Nous avons modélisé la durée des sessions avec une distribution log-normale (moyenne de 25 requêtes par session, à queue lourde) et obtenu une part d'écriture simulée d'environ 3 %, avec une session médiane de 23 requêtes et une session au 90e centile de 58. On est bien loin du seuil de rentabilité de 78,3 %. Dans cette simulation, le caching l'a emporté haut la main : les économies allaient de 24 % sur un petit contexte de 1k tokens jusqu'à près de 80 % sur un contexte de 32k tokens.
Le seul mode de défaillance à surveiller : un contexte qui varie rapidement. Si le contexte partagé de votre agent change toutes les quelques requêtes au lieu de persister sur des dizaines d'appels, vous pouvez vous retrouver du mauvais côté de ce seuil, et le caching devient une dépense plutôt qu'une économie.
Ce qu'il faut retenir
Ne jugez pas la tarification du cache de GPT-5.6 sur le seul prix catalogue. Modélisez votre propre ratio écriture/lecture par rapport au seuil de 78,3 %. Si le contexte de votre agent reste stable pendant des dizaines de requêtes consécutives, le caching a de très fortes chances de rester un gain évident sous la nouvelle tarification, quel que soit le niveau que vous utilisez.
Pour aller plus loin
- Prompt caching indépendant du fournisseur : comment une passerelle LLM normalise Anthropic, OpenAI et Bedrock — le même calcul d'impact économique du cache appliqué à plusieurs fournisseurs, avec un exemple concret basé sur des taux de réussite réels.
- Semantic caching pour les LLM : au-delà du prefix caching — en quoi le caching sémantique basé sur des embeddings diffère du prefix caching sur lequel repose la tarification de GPT-5.6, et où il peut échouer.
- Considérations de coûts lors de l'utilisation d'une passerelle IA — l'ensemble plus large de leviers (routage, budgets, caching) qui façonnent les dépenses LLM au-delà de la tarification d'un modèle individuel.
- Optimisation des coûts LLM : pourquoi une passerelle IA est la brique manquante — une présentation plus complète de la combinaison du caching avec le routage et les basculements on-premise pour des économies cumulées.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.


















.webp)






