Qu'est-ce que LLM Tool Calling et comment fonctionne-t-il ?

Les grands modèles linguistiques (LLM) ont changé la façon dont nous utilisons l'IA, passant de simples générateurs de texte à de puissants agents capables de gérer des tâches complexes. Cela est rendu possible par l'appel d'outil (ou appel de fonction), qui permet aux LLM d'accéder à des données en temps réel, d'effectuer des actions et d'interagir avec des systèmes externes.

L'appel d'outils supprime les limites des données de formation statiques, transformant les LLM en participants actifs aux flux de travail plutôt que de simples outils conversationnels.

Ce guide explique en quoi consiste l'appel à l'outil LLM, comment il fonctionne, pourquoi c'est important et ce qu'il faut rechercher lors de son implémentation en production.

Qu'est-ce que LLM Tool Calling ?

L'appel à l'outil LLM est la capacité d'un modèle de langage étendu à reconnaître quand une action externe est nécessaire, à créer une demande structurée (généralement au format JSON) et à laisser un système externe l'exécuter. Cela étend les capacités du LLM au-delà de ses données de formation, lui permettant d'interagir avec le monde réel.

Dans les systèmes de production, ces demandes sont généralement acheminées via un Passerelle IA, qui gère l'orchestration, l'authentification et la communication avec des services externes.

Qu'est-ce qui est considéré comme un « outil »

Un outil est une fonction externe, une API, une base de données ou un environnement de code que le LLM peut utiliser pour obtenir ou traiter des informations. Les exemples incluent :

• API : Accédez à des services Web, à des données en temps réel ou à des plateformes telles que Salesforce ou GitHub.
• Bases de données : Interrogez ou mettez à jour des données structurées (SQL/NoSQL) ou non structurées (vectorielles).
• Exécution du code : Exécutez des scripts pour les calculs, les analyses ou les transformations.
• Plugins/Extensions : Modules prédéfinis pour des tâches telles que la génération d'images ou le traitement de documents.
• Automatisations : Déclenchez des flux de travail ou interagissez avec des appareils intelligents.

Quel outil n'est pas appelé

• L'appel d'outils est bien plus qu'une simple ingénierie rapide : Le LLM génère un véritable appel à une fonction externe, pas simplement une suggestion de texte.
• L'appel à un outil est distinct de la simple récupération : Contrairement à un modèle qui se contente de récupérer et de lire du contenu, l'appel d'outil construit des arguments précis et structurés qui peuvent déclencher des actions réelles.

Comment fonctionne LLM Tool Calling ?

L'appel à l'outil LLM s'effectue via un flux de travail structuré qui permet au modèle d'interagir avec des systèmes externes, souvent dans des environnements de production dynamiques. Ce processus peut être compris comme une boucle agentique en six étapes :

Étape 1 : Reconnaître le besoin d'un outil

Lorsqu'un utilisateur soumet une invite, le LLM détermine s'il peut répondre en utilisant ses connaissances internes ou si un outil externe est nécessaire. Le modèle interprète l'intention de l'utilisateur de décider quand des données ou des actions externes sont requises. Par exemple, « Quel temps fait-il à Londres en ce moment ? » signale la nécessité d'une API météo.

Étape 2 : Sélection de l'outil

Après avoir identifié le besoin, le LLM évalue les outils disponibles sur la base de descriptions et de schémas de saisie pour sélectionner celui qui convient le mieux. Dans les systèmes dotés de nombreux outils, une étape préliminaire de « découverte des outils » filtre les outils pertinents afin d'éviter de surcharger le LLM et d'optimiser sa fenêtre contextuelle.

Étape 3 : Création et envoi d'une requête

Une fois qu'un outil est choisi, le LLM génère un appel structuré, généralement au format JSON, contenant le nom de l'outil et les paramètres requis. Cette sortie est ensuite captée par la couche d'orchestration, qui l'envoie au système externe approprié pour exécution. Par exemple, {"name » : « get_weather », « arguments » : {"city » : « London"}}. Cette charge utile est envoyée à une application externe ou à une couche d'exécution pour traitement.

Étape 4 : Réception et traitement de la réponse

La couche d'application ou d'intergiciel exécute l'appel d'outil, en gérant l'authentification, la gestion des erreurs et les transformations des données, avant de renvoyer un résultat propre au LLM. Le résultat est capturé et préparé pour le LLM, garantissant fiabilité et exactitude avant qu'il ne soit renvoyé.

Étape 5 : Présenter l'information ou prendre des mesures

Le LLM reçoit la sortie et l'intègre dans la conversation. Pour la recherche d'informations, il génère une réponse lisible par l'homme. Pour les actions, telles que l'envoi d'un e-mail, cela peut confirmer que la tâche a été exécutée avec succès, offrant ainsi une expérience utilisateur fluide.

Étape 6 : Affiner le processus

Dans le cas de tâches complexes ou en plusieurs étapes, le LLM peut réévaluer la conversation à l'aide des résultats de l'outil. Il peut choisir d'appeler des outils supplémentaires, d'affiner son raisonnement à l'aide de nouvelles données ou de demander des éclaircissements à l'utilisateur pour garantir des résultats précis, complets et adaptés au contexte.

Pourquoi Tool Calling est important

L'appel aux outils LLM étend fondamentalement ce que peuvent faire les modèles d'IA, en les faisant passer des générateurs de texte passifs à des agents capables d'effectuer des actions dans le monde réel.

• Transforme les LLM en agents actifs : Les LLM vont au-delà de la génération de texte, en leur permettant d'effectuer des tâches réelles et de résoudre des problèmes de manière autonome.
• Surmonte les limites du LLM : Permet d'accéder à des informations en temps réel, à des bases de données propriétaires et à des systèmes privés, améliorant ainsi la précision, la pertinence et la fraîcheur des réponses.
• Améliore la fiabilité : Les sorties structurées telles que JSON fournissent des instructions prévisibles et lisibles par machine, réduisant ainsi les erreurs de format et les ambiguïtés d'analyse. Et comme les réponses du LLM sont fondées sur des données réelles renvoyées par des outils, plutôt que sur ses seules données d'entraînement, les hallucinations factuelles diminuent également.
• Permet de prendre des mesures pratiques : Les LLM peuvent exécuter des tâches telles que l'envoi d'e-mails, l'interrogation de bases de données, la mise à jour d'enregistrements ou le déclenchement de flux de travail complexes, ce qui les rend réellement productifs.
• Offre une valeur commerciale : Accélère les opérations, réduit les coûts, automatise les processus répétitifs et libère les ressources humaines pour des tâches stratégiques à plus forte valeur ajoutée, améliorant ainsi l'efficacité globale.

Quels sont les types de Tool Calling ?

Les appels à l'outil LLM peuvent être classés en fonction du type d'interaction externe et des problèmes qu'ils résolvent. Les principaux types sont les suivants :

1. Extraction et recherche d'informations

Ces outils permettent aux LLM de récupérer et de traiter des données provenant de sources externes. Les exemples incluent :

• API externes : Accédez à des informations en temps réel telles que les prévisions météorologiques, les mises à jour boursières, les articles de presse ou les résultats des moteurs de recherche.
• Bases de données (SQL/NoSQL) : Interrogez des données structurées telles que des dossiers clients, des historiques de commandes ou des catalogues de produits.

Bases de données vectorielles : Effectuez des recherches sémantiques dans de grandes collections de documents non structurés. Ils sont couramment utilisés dans les architectures RAG (Retrieval-Augmented Generation), où les segments récupérés sont transmis en tant que contexte au LLM à côté de la requête de l'utilisateur.

2. Exécution de code

Les outils d'exécution de code permettent aux LLM d'effectuer des calculs, des analyses de données et d'autres transformations au-delà de leurs capacités intégrées :

• Langages de programmation (par exemple Python) : Exécutez des scripts pour des calculs complexes, des analyses statistiques ou des manipulations de données.
• Outils mathématiques spécialisés (par exemple, Wolfram Alpha) : Maîtrisez les mathématiques avancées, le calcul symbolique ou la résolution de problèmes scientifiques.

3. Automatisation des processus

Ces outils permettent aux LLM de déclencher des flux de travail ou d'interagir avec d'autres systèmes logiciels :

• Plateformes d'automatisation des flux de travail : Lancez des tâches dans des outils de gestion de projet tels que Jira, déclenchez des pipelines CI/CD ou gérez les processus d'approbation.
• Outils de communication : Envoyez des e-mails, des messages Slack, des notifications par SMS ou créez des événements dans votre calendrier.
• Systèmes CRM/ERP : Gérez les prospects, mettez à jour les profils des clients ou gérez l'inventaire sur des plateformes telles que Salesforce ou HubSpot.

4. Appareils intelligents et surveillance de l'IoT

Ces outils permettent aux LLM d'interagir avec les appareils physiques et de les contrôler :

• API pour appareils IoT : Allumez ou éteignez les appareils, réglez les thermostats ou interrogez les données des capteurs des appareils connectés.
• Systèmes domotiques : Intégrez les hubs domestiques intelligents pour exécuter des commandes ou récupérer l'état des appareils.

Quels sont les exemples courants de Tool Calling ?

Les appels à l'outil LLM peuvent être vus en action dans divers scénarios pratiques. Ces exemples illustrent comment les LLM vont au-delà de la génération de texte pour effectuer des tâches concrètes :

1. Recherche d'informations en temps réel

Les LLM peuvent récupérer des données en direct à partir de sources externes pour fournir des réponses à jour.

Par exemple :

• Lorsqu'un utilisateur demande : « Quel est le cours de l'action Tesla en ce moment ? » , le LLM appelle une API get_stock_price (symbol="TSLA »).
• Pour une question telle que : « Quels sont les principaux titres de la technologie aujourd'hui ? » , le LLM interroge une API get_news_headlines (category="technology »).

2. Exécution mathématique et de code

Les LLM peuvent effectuer des calculs complexes ou exécuter du code pour des tâches analytiques.

Par exemple :

• Un utilisateur demandant « Calculez la racine carrée de 12345 » déclenche un appel à calculate_math (expression="sqrt (12345) »).
• Pour les requêtes telles que « Analysez cet ensemble de données pour les tendances des ventes », le LLM génère et exécute un script Python pour effectuer une analyse statistique et créer des visualisations.

3. Actions de base de données

Les LLM peuvent interroger ou mettre à jour des données structurées dans des bases de données.

Par exemple :

• Un agent de support demandant « Rechercher tous les tickets d'assistance ouverts pour John Doe » amène le LLM à exécuter find_tickets (customer_name="John Doe ») sur une base de données CRM.
• Un représentant commercial demandant « Mettre à jour le statut du prospect pour « Project Phoenix » en « Qualifié » » invite le LLM à appeler update_crm_lead (Project="Project Phoenix », status="Qualified »).

4. Automatisation des actions

Les LLM peuvent déclencher des flux de travail ou interagir avec des applications pour effectuer des tâches.

Par exemple :

• Un utilisateur qui dit : « Envoyer un e-mail à mon équipe résumant notre dernière réunion » amène le LLM à rédiger l'e-mail et à appeler send_email (destinataires, sujet, corps).
• Pour une demande telle que « Réservez un vol de Londres à New York le mois prochain », le LLM utilise une API book_flight (origine, destination, date), éventuellement après confirmation des dates auprès de l'utilisateur.

Tool Calling, Tool Search et MCP

Bien qu'il soit souvent utilisé dans des contextes connexes, il est essentiel de comprendre les rôles distincts de l'appel d'outils, de la recherche d'outils et du protocole MCP (Model Context Protocol) :

Appel d'outils : Il s'agit du mécanisme de base, de la capacité fondamentale d'un LLM à générer une sortie structurée (comme JSON) pour invoquer une fonction externe ou une API. C'est la « main » qui permet au « cerveau » du LLM de manipuler des objets externes.

Recherche d'outils : Il s'agit de la couche de découverte. À mesure que le nombre d'outils disponibles augmente (potentiellement des centaines ou des milliers), la fourniture de toutes les définitions d'outils à la fenêtre contextuelle du LLM devient inefficace et coûteuse. La recherche d'outils permet au LLM de récupérer dynamiquement les définitions d'outils les plus pertinentes à partir d'un vaste catalogue, généralement via une recherche sémantique sur les descriptions des outils, en fonction de l'intention de l'utilisateur, de sorte que seuls les outils pertinents sont chargés dans la fenêtre contextuelle.

Protocole de contexte modèle (MCP) : Il s'agit d'une norme d'interface. Protocole de contexte modèle (MCP) fournit un moyen standardisé de définir et de connecter des outils aux LLM, tout comme un « port USB-C » normalise la façon dont les périphériques se connectent à un ordinateur. Il vise à simplifier le processus d'intégration en proposant un protocole cohérent (par exemple, outils/liste à découvrir, outils/appel à exécuter) pour la communication, quel que soit l'outil sous-jacent ou le fournisseur LLM.

Sécurité et gouvernance pour Tool Calling

La mise en œuvre des appels à l'outil LLM en toute sécurité nécessite de solides pratiques de sécurité et de gouvernance, telles que :

• Authentification et autorisation : Utilisez OAuth, des clés d'API ou des comptes de service pour sécuriser l'accès aux outils. Appliquez les principes du moindre privilège et gérez les jetons par utilisateur.
• Prévention de l'injection rapide : Évitez les injections rapides, y compris les injections indirectes via les sorties des outils, en validant les entrées par rapport à des schémas stricts, en exécutant des outils de sandboxing et en limitant les outils pouvant être invoqués en fonction du contexte et du rôle de l'utilisateur.
• Sécurité des entrées et des sorties : Validez les entrées par rapport aux schémas et nettoyez les sorties. Utilisez des listes d'autorisations pour les outils et les paramètres autorisés.
• Confidentialité des données et conformité: Respectez les réglementations telles que le RGPD ou la HIPAA. Enregistrez tous les appels aux outils et définissez des politiques claires de conservation des données.
• L'humain au courant des actions critiques : Pour les opérations sensibles ou irréversibles, interrompez la boucle agentique pour demander une approbation humaine explicite avant l'exécution de l'appel à l'outil.

Qu'est-ce qui fait qu'un modèle convient à Tool Calling ?

L'efficacité d'un LLM en matière d'appel d'outils dépend de plusieurs caractéristiques clés, telles que :

1. Haute adhérence à la sortie structurée (JSON/syntaxe) : Un bon modèle d'appel d'outils génère de manière cohérente et précise le format JSON structuré requis, y compris des noms d'outils corrects et des arguments bien formés, sans déviations ni syntaxe « hallucinée ».
2. Solides capacités de raisonnement et de prise de décision : Le modèle doit comprendre efficacement l'intention de l'utilisateur, déterminer quand un outil est nécessaire et sélectionner logiquement celui qui convient le mieux dans la liste des outils disponibles. Il devrait également être capable d'enchaîner plusieurs appels d'outils si une tâche complexe l'exige.
3. Formation native à l'utilisation d'outils : Les modèles spécifiquement affinés ou pré-entraînés à l'aide d'ensembles de données faisant appel à des outils fonctionnent nettement mieux. Ils apprennent les modèles d'identification de l'utilisation des outils, d'extraction des paramètres et de formatage des résultats, ce qui se traduit par une fiabilité supérieure à celle des modèles équipés ultérieurement de ingénierie rapide seul.
4. Haute fiabilité et faible « hallucination liée aux outils » : Le modèle doit rarement « halluciner » ou inventer des noms d'outils ou des paramètres qui n'existent pas. Il doit associer avec précision les demandes des utilisateurs aux outils disponibles et à leurs schémas.
5. Gestion efficace du contexte et des paramètres : La capacité à gérer l'historique des conversations, à intégrer les résultats des outils et à extraire des paramètres précis à partir de diverses entrées en langage naturel est cruciale. Pour les scénarios complexes, le modèle doit gérer efficacement un plus grand nombre d'outils, souvent associé à des stratégies telles que la recherche d'outils pour gérer les limites des fenêtres contextuelles.

Conclusion

L'appel à l'outil LLM transforme de grands modèles linguistiques de générateurs de texte de base en modèles dynamiques et interactifs Agents d'IA. Il leur permet d'accéder à des API externes, à des bases de données et à du code pour récupérer des informations en temps réel, effectuer des calculs complexes et exécuter des actions pratiques.

Pour l'implémenter efficacement, vous avez besoin d'une infrastructure adaptée qui gère la complexité sans vous ralentir.

TrueFoundry vous permet de déployer, de sécuriser et de faire évoluer des systèmes d'IA avec un support intégré pour l'intégration des outils, les contrôles d'accès et la surveillance. Cela permet de gérer plus facilement le comportement des modèles et de créer des applications d'IA fiables et de niveau production qui vont au-delà de simples conversations.