Conventions GenAI OpenTelemetry : un vocabulaire commun pour l'observabilité de l'IA

Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
OpenTelemetry offre aux systèmes de GenAI un vocabulaire de télémétrie partagé, mais il ne s'agit pas d'un schéma universel définitif. En juin 2026, le projet a déplacé ses conventions sémantiques GenAI, spécifiques aux fournisseurs et MCP, dans un dépôt dédié afin de pouvoir les faire évoluer et les versionner de manière indépendante. Ce dépôt classe actuellement les conventions GenAI au stade Development (développement), et au 21 août 2026, il ne compte aucune version officielle. L'opportunité reste considérable : des noms communs pour les opérations des modèles, l'utilisation des tokens, les étapes des agents, les appels MCP, les événements de contenu et les résultats d'évaluation peuvent réduire le travail de traduction entre l'instrumentation et les back-ends d'observabilité. La posture d'ingénierie doit être une adoption consciente des versions — et non l'hypothèse que gen_ai.* est déjà figé.
Deux équipes peuvent émettre de l'OpenTelemetry valide tout en étant en désaccord sur ce que signifie un appel LLM. L'interopérabilité de transport et l'interopérabilité sémantique sont deux problèmes différents. OTLP peut déplacer la télémétrie entre les systèmes ; les conventions sémantiques rendent les champs au sein de cette télémétrie interprétables de manière plus cohérente. Pour la GenAI, ce second problème est encore en cours de standardisation active.
1. Pourquoi la GenAI a besoin de plus qu'un APM générique
L'APM générique reste utile pour le débit, la latence, les erreurs, les dépendances et la santé des services. La GenAI ajoute une sémantique que ces signaux ne décrivent pas par eux-mêmes.
Comportement probabiliste. Une même requête logique peut produire des sorties différentes, c'est pourquoi le débogage nécessite souvent le modèle demandé et le modèle utilisé, les paramètres de génération, les identifiants de réponse et — lorsque la politique le permet — le contexte d'entrée ou de sortie pertinent. Le contenu complet constitue une preuve utile, mais il n'est pas toujours approprié ni nécessaire de le conserver.
Économie des tokens. Le nombre de requêtes reste important pour la charge et le débit limite, mais il est insuffisant pour l'analyse des dépenses et de l'efficacité des modèles. Un petit nombre d'appels à long contexte peut coûter plus cher qu'un grand nombre d'appels courts. Les métriques GenAI actuelles incluent l'utilisation des tokens et la durée des opérations, ainsi que les mesures du temps jusqu'au premier fragment (time-to-first-chunk) et du temps par fragment de sortie (time-per-output-chunk).
Structure de l'agent. Un appel de modèle n'est qu'une opération parmi d'autres au sein de nombreux agents. La planification, l'exécution d'outils, le système de recherche (retrieval), les workflows et les appels MCP peuvent déterminer le résultat. L'observabilité a donc besoin d'un vocabulaire pour l'exécution qui entoure l'inférence, et pas seulement pour la limite de l'API du fournisseur.
Sensibilité du contenu. Les prompts et les sorties contiennent fréquemment des données d'utilisateurs ou d'entreprise. OpenTelemetry peut décrire la façon d'enregistrer ce contenu, mais la décision de le capturer, de le conserver, de l'exporter, de le caviarder ou de le restreindre reste une décision de gouvernance des données.
2. Ce que couvrent les conventions actuellement
La façon la plus utile de lire le travail actuel est par signal et par opération, plutôt que d'opposer une échelle de maturité unique. Le dépôt dédié à la GenAI marque l'ensemble des conventions comme Development.
Spans de modèles et d'inférence. Les conventions actuelles définissent les opérations client GenAI, notamment l'inférence, les embeddings, le retrieval, la récupération de réponses, les opérations mémoire et l'exécution d'outils. Les attributs courants incluent gen_ai.provider.name, gen_ai.operation.name, les identifiants de modèles demandés et de réponse, ainsi que l'utilisation des tokens d'entrée/sortie. Le chronométrage des spans fournit la durée de l'opération ; des métriques dédiées standardisent l'utilisation des tokens et les mesures liées à la latence.
Spans d'agents et de frameworks. Les conventions relatives aux agents définissent des opérations telles que create_agent, invoke_agent, invoke_workflow, plan et execute_tool. Ces spans peuvent rendre un chemin d'exécution instrumenté reconstruisible. Ils n'exposent pas le raisonnement privé d'un modèle et n'apparaissent pas automatiquement à moins que le framework ou l'instrumentation concerné ne les émette.
Conventions MCP. MCP dispose de ses propres conventions en Development pour les spans client et serveur, la propagation du contexte W3C Trace Context, la corrélation de transport, les attributs axés sur les outils et des métriques telles que mcp.client.operation.duration et mcp.server.operation.duration. La valeur réside dans la continuité de part et d'autre de la limite MCP — et non dans la promesse que chaque implémentation MCP émet déjà ces conventions.
Métriques et conventions spécifiques aux fournisseurs. Le dépôt définit des métriques de client, serveur, workflow, agent et outil, et ajoute des conventions spécifiques aux fournisseurs pour des systèmes tels qu'OpenAI, Anthropic, Azure AI Inference et AWS Bedrock.

3. La capture de contenu est une décision politique optionnelle (Opt-In)
L'événement actuel gen_ai.client.inference.operation.details peut transporter l'historique de chat, les paramètres, les entrées et les sorties indépendamment de la trace principale. Son niveau d'exigence est explicitement Opt-In, et la documentation d'OpenTelemetry avertit que la prise en charge des événements n'est pas encore disponible dans tous les langages.
Il s'agit d'une meilleure option par défaut que de traiter les prompts et les complétions comme du texte de diagnostic ordinaire. OpenTelemetry définit la structure de la télémétrie ; il ne décide pas de votre durée de conservation, de votre stockage régional, de votre politique d'accès, de votre base légale ou de vos exigences de caviardage. Ces éléments restent de la responsabilité de l'opérateur et du back-end.
Pour un déploiement en production, rédigez la politique avant d'activer le contenu : quels environnements peuvent capturer le contenu complet, ce qui est filtré ou tronqué, où la télémétrie exportée est autorisée à aller, combien de temps elle est conservée et qui peut la récupérer.
4. Ce que cela signifie pour une Gateway
Une gateway constitue un point d'émission fort pour le trafic de modèles qui la traverse réellement. Elle observe les modèles demandés et servis, la latence, les résultats des fournisseurs, l'utilisation des tokens, le comportement de routage et les éléments de coût sans demander à chaque équipe applicative de reconstruire cette collecte de façon indépendante. Elle ne constitue pas, à elle seule, une trace d'agent complète : la planification locale à l'application, le retrieval, le travail des outils ou les appels qui contournent la gateway nécessitent une instrumentation à ces niveaux spécifiques.
TrueFoundry exporte déjà via OpenTelemetry. AI Gateway prend en charge l'exportation OTLP pour les traces et les métriques vers des plateformes d'observabilité compatibles. La documentation d'ingénierie actuelle de TrueFoundry décrit également les spans de fournisseurs en utilisant des attributs contemporains tels que gen_ai.provider.name, gen_ai.operation.name, gen_ai.request.model, gen_ai.response.model, gen_ai.usage.input_tokens et gen_ai.usage.output_tokens, aux côtés d'extensions spécifiques à TrueFoundry pour le contexte de la gateway et les coûts. (Docs d'exportation OpenTelemetry ; Guide d'instrumentation de la gateway TrueFoundry.)
La visibilité MCP peut coexister dans le même plan opérationnel. Le tableau de bord des métriques de TrueFoundry suit le trafic MCP, les serveurs, les outils, les échecs et la latence pour les appels routés via l'AI/MCP Gateway. Cela complète — sans le remplacer — l'instrumentation de l'application ou du harnais pour les étapes locales à l'agent. (Metrics Dashboard ; Aperçu de la Gateway MCP.)
Le runtime de l'agent est la limite d'observabilité complémentaire. TrueForge, le harnais d'agent open source de TrueFoundry, exécute la boucle modèle/outil avec les outils MCP, les compétences, le sandboxing, les approbations, la gestion de contexte et les sessions persistantes. Son modèle SDK expose une hiérarchie explicite Agent → Session → Turn → Event, avec des événements en streaming pour l'initialisation MCP, les messages du modèle, les réponses des outils, les approbations et la finalisation du tour (turn). Ces événements de runtime transportent un contexte au niveau de l'agent qu'une gateway ne peut pas déduire uniquement à partir du trafic du modèle et de MCP.
L'affirmation publiable est délibérément plus restreinte qu'une affirmation d'intégration : cet article n'affirme pas que TrueForge émet actuellement les dernières conventions sémantiques GenAI d'OpenTelemetry. TrueForge fournit plutôt une surface de runtime ouverte et inspectable qui peut être instrumentée ou corrélée avec les traces OTLP que TrueFoundry AI Gateway exporte déjà. Cette séparation constitue une architecture utile : le harnais sait ce que fait l'agent ; la gateway sait ce qui a franchi la limite de sa politique ; OpenTelemetry donne à ces couches instrumentées un transport commun et un vocabulaire de plus en plus partagé.
L'exportation de traces externes dispose d'un contrôle de contenu explicite. Les guides d'intégration OTel de TrueFoundry documentent une option Exclude Request Data qui supprime tfy.input, tfy.output et tfy.input_short_hand des spans exportés tout en conservant la télémétrie structurelle telle que les tokens, la latence et les métadonnées du modèle. Il s'agit d'un contrôle de sortie utile pour ces champs de contenu TrueFoundry ; les équipes doivent tout de même réviser tout attribut standard ou personnalisé supplémentaire qu'elles émettent. (Exemple de documentation d'intégration.)
L'évaluation reste un calcul distinct. TrueFoundry prend en charge les workflows d'évaluation externe sur les traces, tandis que la convention OpenTelemetry fournit un emplacement standardisé pour représenter le résultat d'un évaluateur. Ne les confondez pas en une seule affirmation : la télémétrie transporte les preuves ; les évaluateurs les interprètent. (Évaluation en ligne.)

5. Une posture prête au déploiement
Séparez la portabilité OTLP de la maturité des conventions sémantiques. Il est utile d'exporter des traces et des métriques via OpenTelemetry dès aujourd'hui, même si les noms de champs GenAI continuent d'évoluer.
Fixez et testez la sémantique que vous émettez réellement. Le dépôt GenAI est en Development, les définitions du noyau plus anciennes ont bougé, et le support par langage est inégal. Traitez l'ensemble de vos attributs émis comme une interface versionnée et testez-la par rapport au back-end et aux bibliothèques d'instrumentation que vous utilisez.
Instrumentez chaque limite d'application ou d'exécution pour ce qu'elle peut réellement observer. Une gateway est excellente pour le trafic de modèles et le trafic MCP routé par la gateway. L'instrumentation de l'agent/harnais reste nécessaire pour la planification, les outils locaux, le retrieval, les transitions d'état et tout autre travail qui ne traverse jamais cette gateway.
Instrumentez la limite du harnais lorsque vous avez besoin de la sémantique de l'agent. Si vous utilisez TrueForge, son modèle de session, de tour (turn) et d'événement vous donne des identifiants de runtime explicites et des événements d'outils/approbations à corréler avec les traces de la gateway. N'emportez que les métadonnées de corrélation autorisées par votre politique d'observabilité ; ne copiez pas par défaut les charges utiles d'événements sensibles dans les attributs de span.
Rendez la capture de contenu optionnelle (opt-in) par politique. Minimisez et filtrez le contenu avant l'exportation, puis définissez des contrôles de conservation et d'accès dans le back-end d'observabilité. Ne confondez pas un nom de champ OpenTelemetry avec une politique de gouvernance des données.
Gardez l'évaluation séparée, mais corrélée. Calculez la qualité ou la sécurité avec l'évaluateur approprié pour la charge de travail, puis utilisez un événement de résultat d'évaluation standard là où il est pris en charge pour rattacher le résultat à l'opération qui a produit la réponse.
Utilisez les attributs personnalisés comme des extensions, non comme des remplacements. Les champs spécifiques aux produits, tels que les métadonnées de coût et de gateway de TrueFoundry, sont utiles. Conservez les attributs standard à leurs côtés afin que l'outillage générique dispose toujours d'une surface commune.
6. Où s'arrête le standard
Les conventions sémantiques résolvent un problème de vocabulaire, pas tous les problèmes d'observabilité. Le dépôt dédié OpenTelemetry GenAI est toujours en statut Development ; la couverture d'implémentation varie selon le langage et la bibliothèque ; et les back-ends peuvent différer dans leur façon d'indexer, d'interroger, d'afficher, de conserver ou de tarifer la même télémétrie. Même une couverture parfaite des conventions sémantiques ne fait que décrire ce que l'instrumentation peut observer — elle n'expose pas le raisonnement caché du modèle et ne rend pas visible une exécution non instrumentée.
Pour TrueFoundry, l'affirmation utile est concrète : AI Gateway peut exporter des traces et des métriques via OTLP et documente les attributs actuels du type gen_ai.* aux côtés d'extensions spécifiques à TrueFoundry. Cela offre aux équipes une voie d'exportation basée sur des standards sans prétendre que les conventions GenAI, qui évoluent indépendamment, sont figées. Si une version particulière de convention sémantique constitue une exigence d'achat ou de gouvernance, validez l'ensemble exact d'attributs émis ainsi que le support langage/back-end dont vous dépendez.
Références
- OpenTelemetry — Aperçu des conventions sémantiques GenAI (statut actuel : Development).
- OpenTelemetry — Spans client GenAI, métriques, et spans d'agent/framework.
- OpenTelemetry — Conventions sémantiques MCP pour les spans client/serveur, la propagation et les métriques.
- OpenTelemetry — Événements GenAI, incluant les détails d'inférence optionnels (opt-in) et
gen_ai.evaluation.result. - OpenTelemetry — Conventions sémantiques principales v1.42.0, qui a déplacé les définitions GenAI vers le dépôt dédié.
- TrueFoundry — Exportation de traces et métriques OpenTelemetry ; Guide d'instrumentation d'AI Gateway ; Tableau de bord des métriques ; Aperçu de la Gateway MCP.
- TrueFoundry — Évaluation en ligne, comme calcul séparé sur les preuves d'observabilité.
- TrueForge — Aperçu du harnais d'agent et Concepts du SDK, documentant la hiérarchie Agent → Session → Turn → Event et les événements de runtime pour l'activité du modèle, de MCP, des outils, des approbations et des finalisations. Cet article n'affirme pas la conformité native de ces événements avec les dernières conventions sémantiques GenAI.
Le statut d'OpenTelemetry GenAI et les noms de champs sont décrits à partir du dépôt dédié actuel aux conventions sémantiques GenAI tel qu'étudié le 21 août 2026. Le dépôt est en statut Development et ne comporte aucune version officielle à cette date. Les déclarations sur les produits TrueFoundry sont limitées à la documentation publique et au matériel d'ingénierie actuels : exportation OTLP, observabilité de la gateway, métriques MCP, attributs gen_ai.* documentés, et filtrage au moment de l'exportation de champs de contenu tfy.* spécifiés. Cet article ne revendique pas la conformité à un commit spécifique non publié du dépôt OpenTelemetry GenAI.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.












.png)
.png)

.png)







.png)

.png)


.png)

.png)






