Integration von AnythingLLM mit dem AI Gateway von TrueFoundry

Die Tech-Community hat ein explosives Wachstum von KI-Plattformen wie erlebt Alles LLM. Diese Plattformen haben es einer neuen Generation von Entwicklern — von Datenwissenschaftlern bis hin zu Produktmanagern — ermöglicht, KI-gestützte Anwendungen schnell zu entwickeln und bereitzustellen. Die Möglichkeit, Eingabeaufforderungen, Tools und Vektordatenbanken miteinander zu verbinden, ohne eine einzige Codezeile zu schreiben, hat das Innovationstempo dramatisch beschleunigt und die Erstellung von Machbarkeitsnachweisen innerhalb von Stunden statt Wochen ermöglicht.

Diese raschen Experimente haben jedoch eine kritische Regierungslücke aufgedeckt. Während sich diese Tools zu wertschöpfenden Anwendungen entwickeln, stehen Plattformteams vor einer Reihe neuer Herausforderungen. Jede Komponente in einer Low-Code-Umgebung kommuniziert oft mit einem anderen Modellendpunkt, jede mit ihrem eigenen API-Schlüssel, und jede Protokollierung der Nutzung erfolgt in einem separaten Portal. Diese Fragmentierung macht es fast unmöglich, die grundlegenden Fragen zu beantworten, mit denen sich jeder CIO auseinandersetzen muss:

• Wer verwendet welche KI-Modelle?
• Was sind die damit verbundenen Kosten?
• Ist die Nutzung sicher und gesetzeskonform?

Das ist wo Das KI-Gateway von TrueFoundry kommt rein. Das Gateway bietet eine zentrale Ebene für die Verwaltung aller KI/ML-Interaktionen und ermöglicht es Unternehmen, die Geschwindigkeit und Agilität von Low-Code-Plattformen zu nutzen, ohne Abstriche bei Sicherheit, Kontrolle oder Kosteneffizienz machen zu müssen.

Warum AnythingLLM ein Gateway braucht

Alles LLM hat sich schnell zu einem Favoriten für Entwickler und Organisationen entwickelt, die private All-in-One-KI-Anwendungen entwickeln möchten. Die Unterstützung verschiedener Dokumenttypen, benutzerdefinierter Modelle und der vollständige Datenschutz machen es zu einem leistungsstarken Tool für die Nutzung großer Sprachmodelle (LLMs). Wie bei jedem leistungsfähigen Tool wird jedoch die Notwendigkeit einer zentralisierten Verwaltung immer wichtiger, je mehr es in der gesamten Organisation eingesetzt wird. Hier kommt es auf die Integration mit Das KI-Gateway von TrueFoundry wird essenziell.

Indem Sie alle LLM-Anrufe von AnythingLLM über das Gateway weiterleiten, erhalten Sie eine Reihe von Funktionen auf Unternehmensebene, die für jede KI-Anwendung auf Produktionsebene von entscheidender Bedeutung sind:

• Zentralisierte Authentifizierung und Zugriffskontrolle: Verwalten Sie alle Ihre API-Schlüssel an einem Ort mit projektbezogenen Token, die sicherstellen, dass nur autorisierte Benutzer und Anwendungen auf bestimmte Modelle zugreifen können.
• Einheitliche Beobachtbarkeit und Kostenverfolgung: Verschaffen Sie sich einen Überblick über Ihre KI-Nutzung. Verfolgen Sie den Token-Verbrauch, die Latenz und die Kosten für all Ihre Modelle und Anwendungen in Echtzeit.
• Zuverlässige Sicherheit und Compliance: Das Gateway fungiert als Sicherheitsebene und bietet Funktionen wie PII-Schwärzung, Ratenbegrenzung und Audit-Logging, um sicherzustellen, dass Ihre KI-Nutzung den Branchenvorschriften entspricht.
• Anbieterunabhängigkeit und Zukunftssicherheit: Wechseln Sie einfach zwischen verschiedenen LLM-Anbietern (z. B. von OpenAI zu Anthropic), ohne eine einzige Codezeile in Ihrer AnythingLLM-Anwendung zu ändern.

Ein Blick in die Zukunft: Die strategische Bedeutung von LLM-Gateways

Die Integration von Low-Code-KI-Plattformen mit LLM-Gateways ist mehr als nur eine technische Annehmlichkeit; sie ist eine strategische Notwendigkeit. Da KI zunehmend standardisiert wird, wird die Fähigkeit, die KI-Nutzung effektiv zu orchestrieren, zu verwalten und zu sichern, zu einem wichtigen Unterscheidungsmerkmal im Wettbewerb werden.

Ein kürzlich veröffentlichter Artikel, „Portcullis: Ein skalierbares und überprüfbares Datenschutz-Gateway für LLM-Inferenz von Drittanbietern,“ unterstreicht die wachsende Bedeutung datenschutzfreundlicher Gateways im Zeitalter der generativen KI. In dem Artikel wird ein neuartiger Ansatz zum Schutz sensibler Daten vorgestellt, indem diese anonymisiert werden, bevor sie das LLM erreichen. Dies wird durch einen Prozess der „parallelen Substitution“ erreicht, bei dem sensible Daten durch Platzhalter ersetzt werden, bevor sie an das LLM gesendet und dann in der Antwort exakt rekonstruiert werden. Diese Studie unterstreicht die entscheidende Rolle, die Gateways dabei spielen werden, den Einsatz leistungsfähiger KI-Modelle in regulierten Branchen wie dem Finanz- und Gesundheitswesen zu ermöglichen.

Durch die Integration von AnythingLLM in das AI Gateway von TrueFoundry lösen Sie nicht nur die heutigen Governance-Herausforderungen, sondern bauen auch einen zukunftssicheren KI-Stack auf, der bereit ist, sich an die Anforderungen Ihres Unternehmens anzupassen.

Integration in 5 einfachen Schritten

Die Integration von AnythingLLM in das TrueFoundry AI Gateway ist ein unkomplizierter Vorgang, der in nur wenigen Minuten abgeschlossen werden kann. So geht's:

1. Generieren Sie Ihr TrueFoundry Access Token:

• Navigieren Sie zu Ihrem TrueFoundry-Dashboard und gehen Sie zu Verwaltung des Zugriffs.
• Klicken Sie Neues persönliches Zugriffstoken um ein neues Token zu erstellen.
• Kopieren Sie Ihr Personal Access Token und speichern Sie es sicher.

2. Greifen Sie auf AnythingLLM LLM-Einstellungen zu:

• Starten Sie Ihre AnythingLLM-Anwendung.
• Navigiere zu Einstellungen und gehe zu LLM-Präferenz.

3. Konfigurieren Sie den generischen OpenAI-Anbieter:

• Geben Sie in das LLM-Anbieter-Suchfeld „Generic OpenAI“ ein und wählen Sie es aus.
• Basis-URL: <your-company>Geben Sie Ihre TrueFoundry Gateway-Basis-URL ein (z. B. https://.truefoundry.cloud/api/llm/api/inference/openai).
• API-Schlüssel: Geben Sie Ihr TrueFoundry Personal Access Token ein.
• Chat-Modellname: Geben Sie Ihre Modell-ID von TrueFoundry ein (z. B. openai-main/gpt-4o).
• Token-Kontextfenster und maximale Anzahl an Tokens: Konfigurieren Sie diese auf der Grundlage der Grenzwerte Ihres Modells.

4. Holen Sie sich Modellinformationen von TrueFoundry:

• Navigieren Sie zu Ihrem TrueFoundry AI Gateway, um die richtige Modell-ID abzurufen.
• Kopieren Sie die Modell-ID und fügen Sie sie in AnythingLLM ein Chat-Modellname Feld.

5. Testen Sie Ihre Integration:

• Speichern Sie Ihre Konfiguration in AnythingLLM.
• Erstellen Sie einen neuen Arbeitsbereich oder öffnen Sie einen vorhandenen und senden Sie eine Testnachricht, um die Integration zu überprüfen.

Eine detailliertere Anleitung mit Screenshots finden Sie in unserem Dokumente

Ihre AnythingLLM-Anwendung ist jetzt nahtlos in das AI Gateway von TrueFoundry integriert und bietet Ihnen das Beste aus beiden Welten: die Geschwindigkeit und Flexibilität einer Low-Code-KI-Plattform und die Sicherheit und Kontrolle eines Gateways auf Unternehmensebene.