AnythingLLM integreren met de AI Gateway van TrueFoundry

De tech-community heeft een explosieve groei gezien van AI-platformen zoals AnythingLLM. Deze platformen hebben een nieuwe golf van bouwers in staat gesteld, van data scientists tot product managers, om snel ideeën uit te werken en AI-gedreven toepassingen te implementeren. Het vermogen om prompts, tools en vector-databases te verbinden zonder een enkele regel code te schrijven, heeft het innovatietempo drastisch versneld. Hierdoor kunnen proof-of-concepts in uren in plaats van weken worden gerealiseerd.

Deze snelle experimenteerdrift heeft echter een kritieke kloof op het gebied van governance blootgelegd. Naarmate deze tools uitgroeien tot waardegenererende toepassingen, worden platformteams geconfronteerd met een nieuwe reeks uitdagingen. Elk onderdeel binnen een low-code-omgeving communiceert vaak met een ander modeleindpunt, elk met een eigen API key, en elk registreert het gebruik in een apart portaal. Deze fragmentatie maakt het bijna onmogelijk om de fundamentele vragen te beantwoorden waar elke CIO voor staat:

• Wie gebruikt welke AI-modellen?
• Wat zijn de bijbehorende kosten?
• Is het gebruik veilig en compliant?

Dit is waar de AI Gateway van TrueFoundry uitkomst biedt. Door een gecentraliseerde laag te bieden voor het beheren van alle AI/ML-interacties, stelt de Gateway organisaties in staat om de snelheid en wendbaarheid van low-code-platformen te omarmen zonder in te boeten op beveiliging, controle of kostenefficiëntie.

Waarom AnythingLLM een Gateway nodig heeft

AnythingLLM is snel een favoriet geworden voor ontwikkelaars en organisaties die private, alles-in-één AI-toepassingen willen bouwen. De ondersteuning voor verschillende documenttypen, custom modellen en volledige privacy maken het een krachtige tool voor het benutten van Large Language Models (LLMs). Maar zoals bij elke krachtige tool geldt dat naarmate het gebruik binnen een organisatie schaalt, de noodzaak van gecentraliseerde governance essentieel wordt. Hier komt de integratie met de AI Gateway van TrueFoundry om de hoek kijken.

Door alle LLM-aanroepen van AnythingLLM via de Gateway te routeren, krijgt u de beschikking over een reeks enterprise-grade functies die cruciaal zijn voor elke AI-toepassing op productieniveau:

• Gecentraliseerde Authenticatie en Toegangsbeheer: Beheer al uw API keys op één plek, met tokens op projectniveau die ervoor zorgen dat alleen geautoriseerde gebruikers en toepassingen toegang hebben tot specifieke modellen.
• Gecentraliseerde Observability en Kostenbewaking: Krijg één centraal overzicht (single-pane-of-glass) van uw AI-gebruik. Volg tokenverbruik, latency en kosten voor al uw modellen en toepassingen in real-time.
• Robuuste Beveiliging en Compliance: De Gateway fungeert als een beveiligingslaag met functies zoals PII-redactie, rate limiting en audit logging om ervoor te zorgen dat uw AI-gebruik voldoet aan de geldende regelgeving.
• Leveranciersonafhankelijkheid en Toekomstbestendigheid: Schakel eenvoudig tussen verschillende LLM-providers (bijv. van OpenAI naar Anthropic) zonder een enkele regel code in uw AnythingLLM-toepassing te wijzigen.

Een blik op de toekomst: het strategische belang van LLM Gateways

De integratie van low-code AI-platformen met de beste LLM gateway is meer dan alleen een technische handigheid; het is een strategische noodzaak. Naarmate AI steeds meer een alledaags goed wordt, zal het vermogen om AI-gebruik effectief te orchestreren, te beheren en te beveiligen een belangrijke concurrentieindicator worden.

Een recent onderzoekspaper, "Portcullis: A Scalable and Verifiable Privacy Gateway for Third-Party LLM Inference," benadrukt het toenemende belang van privacywaarborgende gateways in het tijdperk van generatieve AI. Het paper introduceert een nieuwe aanpak voor het beschermen van gevoelige gegevens door deze te anonimiseren voordat ze de LLM bereiken. Dit wordt bereikt via een proces van "parallelle substitutie", waarbij gevoelige gegevens worden vervangen door placeholders voordat ze naar de LLM worden gestuurd, en vervolgens nauwkeurig worden gereconstrueerd in de respons. Ditzelfde onderzoek onderstreept de kritieke rol die gateways zullen spelen bij het mogelijk maken van het gebruik van krachtige AI-modellen in gereguleerde sectoren zoals de financiële sector en de gezondheidszorg.

Door AnythingLLM te integreren met de AI Gateway van TrueFoundry lost u niet alleen de governance-uitdagingen van vandaag op; u bouwt aan een toekomstbestendige AI-stack die klaar is om mee te schalen met de behoeften van uw organisatie.

Integratie in 5 eenvoudige stappen

Het integreren van AnythingLLM met de TrueFoundry AI Gateway is een overzichtelijk proces dat in slechts enkele minuten kan worden voltooid. Zo werkt het:

1. Genereer uw TrueFoundry Access Token:

• Navigeer naar uw TrueFoundry-dashboard en ga naar Access Management.
• Klik op New Personal Access Token om een nieuw token aan te maken.
• Kopieer en bewaar uw Personal Access Token op een veilige plek.

2. Open de LLM-instellingen in AnythingLLM:

• Start uw AnythingLLM-toepassing.
• Navigeer naar Settings en ga naar LLM Preference.

3. Configureer de Generic OpenAI Provider:

• Typ "Generic OpenAI" in het zoekveld voor LLM-providers en selecteer deze.
• Base URL: Voer de basis-URL van uw TrueFoundry Gateway in (bijv. https://<your-company>.truefoundry.cloud/api/llm/api/inference/openai).
• API Key: Voer uw TrueFoundry Personal Access Token in.
• Chat Model Name: Voer uw model-ID uit TrueFoundry in (bijv. openai-main/gpt-4o).
• Token Context Window & Max Tokens: Configureer deze op basis van de limieten van uw model.

4. Haal modelinformatie op uit TrueFoundry:

• Navigeer naar uw TrueFoundry AI Gateway om de juiste model-ID op te halen.
• Kopieer de model-ID en plak deze in het veld Chat Model Name van AnythingLLM.

5. Test uw integratie:

• Sla uw configuratie op in AnythingLLM.
• Maak een nieuwe workspace aan of open een bestaande en stuur een testbericht om de integratie te verifiëren.

U vindt een meer gedetailleerde handleiding, compleet met screenshots, in onze documentatie

Uw AnythingLLM-toepassing is nu naadloos geïntegreerd met de AI Gateway van TrueFoundry. Hiermee krijgt u het beste van twee werelden: de snelheid en flexibiliteit van een low-code AI-platform en de beveiliging en controle van een enterprise-grade gateway.