Blank white background with no objects or features visible.

Bonjour, zone EMEA ! TrueFoundry étend sa présence en Europe, au Moyen-Orient et en Afrique. En savoir plus. →

Intégration du Middleware avec le TrueFoundry AI Gateway

Par Rishiraj Dutta Gupta

Mis à jour : novembre 5, 2026

Published: mai 22, 2026

Intégration du Middleware avec le TrueFoundry AI Gateway

À mesure que les entreprises développent leurs applications d'AI, savoir ce que font vos modèles en production est tout aussi important que de les mettre en service. Les ingénieurs ont besoin d'une visibilité sur chaque requête d'inférence   latence, utilisation des tokens, comportement du modèle, raison de fin   mais connecter des outils d'observabilité à chaque modèle et fournisseur implique un travail d'instrumentation complexe et répétitif pour chaque intégration.

La grande question : comment obtenir une visibilité full-stack sur l'ensemble des modèles utilisés par vos équipes sans ingénierie sur mesure pour chacun d'eux ?

Chez Middleware, l'objectif est de rendre l'observabilité aussi simple que puissante. C'est pourquoi nous sommes ravis d'annoncer l'intégration de Middleware avec le TrueFoundry AI Gateway. Cette intégration offre à votre organisation une visibilité complète sur chaque requête d'inférence d'AI   corrélée avec les métriques d'infrastructure, les traces d'application et les logs   le tout depuis une plateforme unique et centralisée, permettant de garantir que vos opérations d'AI sont transparentes et sous contrôle.

La puissance du TrueFoundry AI Gateway

Le TrueFoundry AI Gateway est un moyen puissant pour les développeurs et les équipes plateforme de gérer, surveiller et faire évoluer leurs applications d'AI. Il rassemble un accès unifié à des centaines de grands modèles de langage, un routage intelligent et l'application centralisée des règles   au même endroit. Un seul pod de gateway gère plus de 250 requêtes par seconde tout en n'ajoutant qu'environ 3 ms de latence, ce qui le rend prêt pour la production dès le premier jour.

Alors que l'adoption de l'AI s'accélère, le véritable défi n'est pas d'accéder aux modèles   c'est de gérer la complexité qui en découle. Les multiples fournisseurs, les API en constante évolution et les exigences de conformité strictes peuvent rapidement ralentir les équipes. Le TrueFoundry AI Gateway apporte de l'ordre dans cette complexité, servant de plan de contrôle pour l'AI d'entreprise. Il unifie l'accès, applique les règles et offre une observabilité conforme à OpenTelemetry sur chaque modèle et environnement   sans nécessiter aucune modification des applications qui appellent le gateway.

Middleware : l'observabilité full-stack basée sur OpenTelemetry

Middleware est une plateforme d'observabilité full-stack basée sur OpenTelemetry comme standard d'instrumentation central. Elle accepte les traces, les logs, les métriques d'infrastructure et les données de suivi des utilisateurs réels via OTEL Collector, en les stockant dans une couche de données corrélées unique qui donne aux équipes d'ingénierie une vue complète de leurs systèmes en un seul endroit.

Ce qui distingue Middleware, c'est ce qu'il fait après l'arrivée d'une trace. Plutôt que de stocker les spans de manière isolée, Middleware les corrèle avec les signaux d'infrastructure de l'hôte ou du cluster où le service s'exécute. Un ingénieur recherchant un pic de latence dans un span de gateway peut naviguer directement de la vue de trace vers les métriques CPU et mémoire de ce pod   sans changer de tableau de bord. Middleware construit également une carte de topologie de service en direct à partir des données de span entrantes, rendant chaque service instrumenté visible en tant que nœud dans la carte de service, avec la latence et le taux d'erreur calculés automatiquement à partir de ses spans.

Meilleurs ensemble : une intégration fluide pour une visibilité complète

L'intégration de Middleware et du TrueFoundry AI Gateway simplifie et renforce votre observabilité de l'AI. Cette combinaison facilite l'intégration directe d'une visibilité de niveau production dans votre workflow d'AI, garantissant que vos systèmes sont observables dès le moment du déploiement.

Avec cette solution intégrée, chaque requête d'inférence qui passe par le TrueFoundry AI Gateway génère automatiquement un ensemble structuré de spans OpenTelemetry. Ces spans transportent le contenu du prompt, le contenu de complétion, le nombre de tokens, le nom du modèle, la latence et la raison de fin en tant qu'attributs interrogables   puis circulent de manière asynchrone vers Middleware via OTLP/HTTP. Middleware les ingère aux côtés du reste de la télémétrie de votre infrastructure, rendant le trafic du gateway immédiatement visible en tant que service de premier ordre dans la carte de topologie et les vues APM aux côtés des services applicatifs qui l'appellent.

Pour un contrôle total sur les données sensibles, l'option Exclude Request Data du gateway TrueFoundry supprime le contenu du prompt et de la complétion des attributs de span avant l'exportation. Le nombre de tokens, la latence et les métadonnées du modèle sont conservés dans tous les cas, ce qui vous permet de maintenir une visibilité opérationnelle complète sans exposer les entrées des utilisateurs à des systèmes externes. Pour les organisations ayant des exigences strictes en matière d'égress réseau, l'exportateur du gateway peut également être orienté vers un OpenTelemetry Collector géré en propre qui transfère vers Middleware   ne nécessitant aucune autre modification que l'URL de l'endpoint.

‍

Comment fonctionne l'intégration de Middleware et TrueFoundry

Intégration de Middleware et du TrueFoundry AI Gateway

Middleware et le TrueFoundry AI Gateway travaillent ensemble pour offrir de l'observabilité sans ajouter de complexité à votre parcours d'inférence.

Comment fonctionne le flux de traces

‍

  1. Votre application envoie une requête d'inférence au TrueFoundry AI Gateway. Le gateway gère l'authentification, la résolution du modèle et le routage entièrement en mémoire   aucun appel externe n'a lieu sur le parcours critique.

  2. Le gateway transmet la requête au fournisseur de LLM configuré   le seul appel externe sur le parcours de la requête   et renvoie immédiatement la réponse à votre application.

  3. Une fois la réponse livrée, le gateway publie de manière asynchrone l'événement de trace complet sur un bus NATS interne. L'exportation se produit entièrement en dehors du parcours de la requête, de sorte que la latence d'inférence n'est jamais affectée par la disponibilité ou la lenteur de l'endpoint OTEL.

  4. Un processus d'exportateur OTEL dédié lit à partir du bus NATS, sérialise les spans sous forme de charge utile OTLP/HTTP codée en protobuf et les envoie à l'endpoint de votre tenant Middleware à l'adresse https://<your-domain>.middleware.io:443/v1/traces avec votre clé API Middleware dans l'en-tête Authorization.

  5. Middleware reçoit la charge utile sur sa couche d'ingestion OTLP et stocke les spans dans son backend de télémétrie corrélée, où ils sont immédiatement interrogables aux côtés des logs, des métriques d'infrastructure et des données APM pour le reste de votre stack.

La configuration est tout aussi simple. Naviguez vers AI Engineering → Settings → OTEL Config dans le tableau de bord TrueFoundry, saisissez l'endpoint de votre tenant Middleware et votre clé API, définissez le protocole sur HTTP avec codage protobuf, et vous êtes prêt à démarrer.

Faites vos premiers pas avec l'observabilité d'AI full-stack

L'observabilité de l'AI n'a pas besoin de signifier un travail d'instrumentation complexe. Avec Middleware intégré dans le TrueFoundry AI Gateway, l'ensemble de votre trafic d'inférence devient visible   corrélé avec les signaux d'infrastructure, filtrable par nom de modèle ou nombre de tokens, et cartographié dans une topologie de service en direct   dès que la configuration est enregistrée. C'est une observabilité complète et de niveau production facile à configurer, s'apparentant davantage à l'activation un interrupteur qu'à un projet d'ingénierie sur mesure.

Pour en savoir plus, visitez la documentation de Middleware et la référence d'intégration TrueFoundry pour voir à quel point il est simple d'obtenir une visibilité full-stack sur vos applications d'AI.

Prêt à commencer ? Connectez votre gateway TrueFoundry à Middleware dès aujourd'hui et transformez chaque requête d'inférence en un événement d'observabilité structuré et interrogable.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

INSCRIVEZ-VOUS
Table des matières

Gouvernez, déployez et suivez l'IA dans votre propre infrastructure

Réservez un séjour de 30 minutes avec notre Expert en IA

Réservez une démo

Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA

Démo du livre
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Découvrez-en plus

août 31, 2026
|
5 min de lecture

LLM Cost Optimization: The Complete Guide (2026)

août 26, 2026
|
5 min de lecture

Context Engineering : concevoir ce que voit votre agent IA

octobre 5, 2023
|
5 min de lecture

<Webinar>Vitrine GenAI pour les entreprises

mai 23, 2024
|
5 min de lecture

Que sont les intégrations vectorielles ? — Un guide complet 2024

novembre 20, 2026
|
5 min de lecture

AI Gateway Observability for Agents: Oodle on TrueFoundry

Integrations
novembre 20, 2026
|
5 min de lecture

AI Gateway Security for Agents: Straiker on TrueFoundry

Aucun article n'a été trouvé.
novembre 18, 2026
|
5 min de lecture

Limites de Claude Code expliquées (Édition 2026)

Aucun article n'a été trouvé.
Analyzing how Cloudflare detects MCP traffic
novembre 18, 2026
|
5 min de lecture

How Cloudflare Detects MCP Traffic and Helps Secure It

Aucun article n'a été trouvé.
Aucun article n'a été trouvé.

Blogs récents

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Faites un rapide tour d'horizon des produits
Commencer la visite guidée du produit
Visite guidée du produit