Integration von AnythingLLM mit dem AI Gateway von TrueFoundry

Die Tech-Community erlebte ein explosives Wachstum von AI-Plattformen wie AnythingLLM. Diese Plattformen haben einer neuen Welle von Entwicklern – von Data Scientists bis hin zu Produktmanagern – die Möglichkeit gegeben, KI-gestützte Anwendungen rasch zu konzipieren und bereitzustellen. Die Fähigkeit, Prompts, Tools und Vektordatenbanken ohne eine einzige Zeile Code zu verbinden, hat das Innovationstempo dramatisch beschleunigt und ermöglicht die Erstellung von Proof-of-Concepts in Stunden statt Wochen.

Diese schnelle Experimentierphase hat jedoch eine kritische Governance-Lücke offenbart. Während sich diese Tools zu wertschöpfenden Anwendungen entwickeln, stehen Platform Teams vor einer Reihe neuer Herausforderungen. Jede Komponente innerhalb einer Low-Code-Umgebung kommuniziert oft mit einem anderen Modell-Endpunkt, jeweils mit eigenem API-Schlüssel, und protokolliert die Nutzung in einem separaten Portal. Diese Fragmentierung macht es nahezu unmöglich, die grundlegenden Fragen zu beantworten, die jeder CIO adressieren muss:

• Wer nutzt welche AI-Modelle?
• Welche Kosten sind damit verbunden?
• Ist die Nutzung sicher und konform?

Hier kommt das AI Gateway von TrueFoundry ins Spiel. Durch die Bereitstellung einer zentralen Schicht für die Verwaltung aller AI/ML-Interaktionen ermöglicht das Gateway Unternehmen, die Geschwindigkeit und Agilität von Low-Code-Plattformen zu nutzen, ohne Abstriche bei Sicherheit, Kontrolle oder Kosteneffizienz zu machen.

Warum AnythingLLM ein Gateway benötigt

AnythingLLM hat sich schnell zu einem Favoriten für Entwickler und Unternehmen entwickelt, die private All-in-One-AI-Anwendungen erstellen möchten. Die Unterstützung verschiedener Dokumententypen, benutzerdefinierter Modelle und vollständiger Datenschutz machen es zu einem leistungsstarken Tool für die Nutzung von Large Language Models (LLMs). Doch wie bei jedem leistungsstarken Tool wird bei der unternehmensweiten Skalierung eine zentrale Governance unerlässlich. Genau hier wird die Integration mit dem AI Gateway von TrueFoundry entscheidend.

Indem Sie alle LLM-Aufrufe von AnythingLLM über das Gateway leiten, erhalten Sie eine Reihe von Enterprise-Funktionen, die für jede produktionsreife AI-Anwendung kritisch sind:

• Zentrale Authentifizierung und Zugriffskontrolle: Verwalten Sie alle Ihre API-Schlüssel an einem Ort mit projektbezogenen Token, die sicherstellen, dass nur autorisierte Benutzer und Anwendungen auf bestimmte Modelle zugreifen können.
• Einheitliche Observability und Kostenverfolgung: Erhalten Sie eine zentrale Übersicht über Ihre AI-Nutzung. Verfolgen Sie Token-Verbrauch, Latenz und Kosten über alle Ihre Modelle und Anwendungen hinweg in Echtzeit.
• Robuste Sicherheit und Compliance: Das Gateway fungiert als Durchsetzungsschicht für Sicherheit mit Funktionen wie PII-Schwärzung, Rate Limiting und Audit-Protokollierung, um sicherzustellen, dass Ihre AI-Nutzung den Branchenregularien entspricht.
• Anbieterunabhängigkeit und Zukunftssicherheit: Wechseln Sie mühelos zwischen verschiedenen LLM-Anbietern (z. B. von OpenAI zu Anthropic), ohne eine einzige Zeile Code in Ihrer AnythingLLM-Anwendung zu ändern.

Ein Blick in die Zukunft: Die strategische Bedeutung von LLM Gateways

Die Integration von Low-Code-AI-Plattformen mit dem besten LLM Gateway ist mehr als nur eine technische Annehmlichkeit; sie ist eine strategische Notwendigkeit. Da AI zunehmend zur Handelsware wird, entwickelt sich die Fähigkeit, die AI-Nutzung effektiv zu orchestrieren, zu verwalten und abzusichern, zu einem zentralen Wettbewerbsvorteil.

Ein aktuelles Paper, „Portcullis: A Scalable and Verifiable Privacy Gateway for Third-Party LLM Inference“, hebt die wachsende Bedeutung von datenschutzfördernden Gateways im Zeitalter der generativen AI hervor. Das Paper stellt einen neuartigen Ansatz zum Schutz sensibler Daten vor, indem diese anonymisiert werden, bevor sie überhaupt das LLM erreichen. Dies wird durch einen Prozess der „parallelen Substitution“ erreicht, bei dem sensible Daten vor dem Senden an das LLM durch Platzhalter ersetzt und in der Antwort anschließend präzise rekonstruiert werden. Diese Forschung unterstreicht die entscheidende Rolle, die Gateways bei der Nutzung leistungsstarker AI-Modelle in regulierten Branchen wie dem Finanz- und Gesundheitswesen spielen werden.

Durch die Integration von AnythingLLM mit dem AI Gateway von TrueFoundry lösen Sie nicht nur die heutigen Governance-Herausforderungen, sondern bauen einen zukunftssicheren AI-Stack auf, der bereit ist, mit den Anforderungen Ihres Unternehmens zu skalieren.

Integration in 5 einfachen Schritten

Die Integration von AnythingLLM mit dem TrueFoundry AI Gateway ist ein unkomplizierter Prozess, der in wenigen Minuten abgeschlossen werden kann. So geht’s:

1. Erstellen Sie Ihren TrueFoundry Access Token:

• Navigieren Sie zu Ihrem TrueFoundry-Dashboard und gehen Sie zu Access Management.
• Klicken Sie auf New Personal Access Token, um einen neuen Token zu erstellen.
• Kopieren und speichern Sie Ihren Personal Access Token an einem sicheren Ort.

2. Rufen Sie die LLM-Einstellungen in AnythingLLM auf:

• Starten Sie Ihre AnythingLLM-Anwendung.
• Navigieren Sie zu Settings und gehen Sie zu LLM Preference.

3. Konfigurieren Sie den Generic OpenAI Provider:

• Geben Sie im Suchfeld für LLM-Anbieter „Generic OpenAI“ ein und wählen Sie diesen aus.
• Base URL: Geben Sie Ihre TrueFoundry Gateway Base URL ein (z. B. https://<your-company>.truefoundry.cloud/api/llm/api/inference/openai).
• API Key: Geben Sie Ihren TrueFoundry Personal Access Token ein.
• Chat Model Name: Geben Sie Ihre Modell-ID aus TrueFoundry ein (z. B. openai-main/gpt-4o).
• Token Context Window & Max Tokens: Konfigurieren Sie diese basierend auf den Limits Ihres Modells.

4. Rufen Sie Modellinformationen von TrueFoundry ab:

• Navigieren Sie zu Ihrem TrueFoundry AI Gateway, um die korrekte Modellkennung zu erhalten.
• Kopieren Sie die Modell-ID und fügen Sie sie in das Feld Chat Model Name in AnythingLLM ein.

5. Testen Sie Ihre Integration:

• Speichern Sie Ihre Konfiguration in AnythingLLM.
• Erstellen Sie einen neuen Workspace oder öffnen Sie einen bestehenden und senden Sie eine Testnachricht, um die Integration zu überprüfen.

Eine detailliertere Anleitung mit Screenshots finden Sie in unserer Dokumentation.

Ihre AnythingLLM-Anwendung ist nun nahtlos mit dem AI Gateway von TrueFoundry integriert. So erhalten Sie das Beste aus beiden Welten: die Geschwindigkeit und Flexibilität einer Low-Code-AI-Plattform sowie die Sicherheit und Kontrolle eines unternehmensgerechten Gateways.