Blank white background with no objects or features visible.

Werden Sie Teil unseres VAR- und VAD-Ökosystems – und ermöglichen Sie die Governance von Unternehmens-KI über LLMs, MCPs und Agents hinweg. Read →

Fallstudie

Wie ein Fortune-50-Marktführer im Gesundheitswesen mithilfe einer Partnerschaft mit TrueFoundry die künstliche Intelligenz von Agentic skalierte, um eine einheitliche interne KI-Plattform aufzubauen.

Sie möchten mehr über diesen Erfolg erfahren?

Sprechen Sie mit unserem Experten
pfeil1
Blue dots represent AI Agents, red dots represent Healthcare Systems on a scatter plot graph.

Zusammenfassung

Für eines der größten Gesundheitsunternehmen in den USA ist digitales Engagement von entscheidender Bedeutung. Bei der Verwaltung von jährlich über 500 Millionen Anrufen in Apotheken-, Einzelhandels- und Versicherungssparten stand das Unternehmen vor einer enormen technischen Hürde. Sie mussten ihre Sprachsysteme modernisieren — von einfachen Menüs bis hin zu intelligenten Agenten, die in der Lage waren, komplexe Patientenabsichten zu verarbeiten. Sie bauten zwar erfolgreich ein agentisches IVR-System auf, doch die betriebliche Komplexität der Skalierung offenbarte eine Lücke zwischen Innovation und Infrastruktur. Durch die Zusammenarbeit mit TrueFoundry beim Aufbau einer einheitlichen internen KI-Plattform automatisierte das Unternehmen seine Infrastruktur, verteilte erfolgreich Workloads zwischen Cloud und On-Premise und beschleunigte seine KI-Roadmap von Monaten auf Wochen.

Der Kunde: Eine Säule des modernen Gesundheitswesens

Dieses Fortune-50-Unternehmen im Gesundheitswesen ist an der Schnittstelle von Einzelhandelsapotheken, Krankenversicherungen und medizinischen Dienstleistungen tätig. Ihre digitale Vision konzentriert sich auf Barrierefreiheit. Sie stellen sicher, dass jede Patienteninteraktion mit Präzision und Empathie abgewickelt wird, unabhängig davon, ob sie in einem ihrer 9.000 Geschäfte oder über einen digitalen Kanal stattfindet.

Der Katalysator: Entwicklung des IVR mit „500-Million-Call“

Die Reise des Unternehmens begann mit einer besonderen technischen Herausforderung: der Modernisierung seines Interactive Voice Response (IVR) -Systems. Das Unternehmen musste die starren Menüs „Drücken Sie 1 für die Apotheke“ hinter sich lassen und zu einem vollständig agentischen System übergehen, das in der Lage ist, natürliche Sprache zu verstehen.

Um das Spannungsfeld zwischen Latenz, Kosten und Genauigkeit in dieser Größenordnung zu bewältigen, entwarf das Engineering-Team eine ausgeklügelte 3-stufige Routing-Architektur.

Technische Nuance: Optimierung im großen Maßstab

Der Betrieb dieses Systems für Millionen von Benutzern erforderte eine tiefgreifende Optimierung, die über die Standardmodellinferenz hinausgeht:

Diagram illustrating AI agent routing and intent classification with voice stream processing and toxicity identification.

Reduzierung der Latenz

Das Team implementierte die globale Instanziierung von Agentengraphen. Anstatt den Agentenkontext für jeden Anruf neu zu erstellen, verwaltet der Service aktive Agentendiagramme, die in mehreren Sitzungen wiederverwendet werden können. Zusätzlich werden die Eingabeaufforderungen 30 Minuten lang zwischengespeichert, um die Latenz beim Abrufen vom Verwaltungsdienst zu minimieren.

3-stufiger Entscheidungsablauf

Um teure GPU-Berechnungen für komplexe Überlegungen zu vermeiden, verwendet das System einen mehrstufigen Ansatz:

  1. Regelbasierte Triage verarbeitet statische Abfragen (wie Ladenzeiten) sofort per Mustervergleich
  2. Scope-Klassifikatoren Einfache Modelle bestimmen die Domain-Absicht (z. B. „Ist das eine Apotheke oder eine Versicherung?“) um Routing-Fehler zu vermeiden.
  3. Main Agent wird nur für komplexe Abfragen innerhalb des Gültigkeitsbereichs aufgerufen. Dadurch werden unnötige LLM-Aufrufe um 10 bis 20% reduziert.

Sicherheit geht vor

Leitplanken sind nicht nur ein nachträglicher Einfall. Sie werden über Aufforderungen auf der Gateway-Ebene angewendet und stellen so sicher, dass jeder Wirkstoff über einen Ausweichmechanismus für toxische oder außerhalb des Geltungsbereichs liegende Themen verfügt, bevor irgendeine Logik ausgeführt wird.

Flowchart illustrating rule-based system and agent classification process for escalation and response handling.

Der strategische Dreh- und Angelpunkt: Den Erfolg plattformieren

Die IVR-Architektur war zwar solide, aber der Betriebsaufwand war immens. Das Team sah sich mit einer Realität von Tag 2 konfrontiert: Verwaltung der aktiv-passiven Zuverlässigkeit in geografisch isolierten Clustern, Konfiguration von GPU-Ressourcen und Bewältigung der Diskrepanz zwischen Cloud-Entwicklung und On-Premise-Produktion.

Da sie erkannten, dass manuelles Infrastrukturmanagement ihre Roadmap zum Erliegen bringen würde, nutzten sie TrueFoundry, um eine einheitliche interne KI-Plattform aufzubauen, die nicht nur IVR, sondern alle zukünftigen Anwendungsfälle abdeckt.

1. Von „Cloud-First“ zur „Best-Infrastructure“

Der primäre Reibungspunkt war die Divergenz zwischen den Umgebungen. Entwickler bevorzugten die Agilität der Cloud, aber die wirtschaftlichen Anforderungen erforderten umfangreiche Rückschlüsse, um sie vor Ort ausführen zu können. TrueFoundry lieferte die Abstraktionsebene, die diese Lücke überbrückte.

  1. Infrastruktur-Arbitrage: Die Plattform ermöglicht es dem Team, NVIDIA-NIMs vor Ort für stabile Basiswerte zu nutzen und gleichzeitig bei Spitzenlasten in die Cloud zu wechseln.
  2. Einheitlicher Einsatz: Entwickler stellen Modelle für sichere, Air-Gap-basierte On-Premise-Cluster genauso einfach bereit wie die Bereitstellung in der Cloud.
  3. Keine Operationen: Durch die Zentralisierung der Kubernetes-Verwaltung innerhalb der Plattform verwalten Data-Science-Teams keine YAML-Konfigurationen mehr, sodass sie sich ausschließlich auf die Modelllogik konzentrieren können.

2. Das KI-Gateway: Die zentrale Steuerebene

Da das System über 9 Millionen LLM-Anfragen pro Monat verarbeitet, benötigte das Team einen robusten Verkehrscontroller. Das AI Gateway von TrueFoundry wurde zum zentralen Nervensystem für ihren Inferenz-Stack.

  1. Aktiv-Passiv-Zuverlässigkeit: Die Plattform verwaltet den Verkehr über geografisch isolierte Cluster (Ost/West-Regionen). Wenn in einer Region Latenz auftritt, leitet das Gateway den Datenverkehr nahtlos um, um einen unterbrechungsfreien Patientenservice zu gewährleisten.
  2. Modellunabhängigkeit: Die Plattform entkoppelt die Anwendungslogik von bestimmten Modellanbietern. Dadurch wird verhindert, dass ein Anbieter gebunden ist, und das Team kann Modelle sofort austauschen, wenn sich die Benchmarks verbessern.

3. Wirtschaftlichkeit per Autopilot

Um den Umfang der erforderlichen Rechenleistung zu bewältigen, nutzt die Plattform die Autopilot-Funktionen von TrueFoundry. Anstatt GPUs für Spitzenanrufvolumen statisch bereitzustellen, skaliert Autopilot automatisch die Ressourcen auf der Grundlage der Verkehrsnachfrage in Echtzeit und orchestriert den Einsatz von Spot-Instances für unkritische Workloads. Dieses dynamische Ressourcenmanagement machte aus einer potenziellen Kostenstelle eine optimierte Anlage.

Auswirkung: Geschwindigkeit, Wirtschaftlichkeit und Unternehmensführung

Der Übergang von einem eigenständigen IVR-Projekt zu einer umfassenden Plattformstrategie hat die KI-Roadmap des Unternehmens zukunftssicher gemacht.

  1. Produktionsgeschwindigkeit: Durch die Standardisierung wurde die Bereitstellungszeit für neue Agenten von Monaten auf Wochen reduziert. Teams können jetzt „globale Agentendiagramme“ und Leitplankenkonfigurationen für verschiedene Geschäftsbereiche wie Faxautomatisierung und Chat wiederverwenden.
  2. Wirtschaftlichkeit: Durch die Nutzung der Plattform zur Verlagerung von Workloads von verwalteten Cloud-Endpunkten auf selbst gehostete GPUs vor Ort erzielte das Unternehmen eine massive Kostenvermeidung. Die Möglichkeit, die Infrastruktur richtig zu dimensionieren, trug zu einer Senkung der prognostizierten Cloud-Ausgaben um mehrere Millionen Dollar bei und erhöhte die GPU-Investitionseffizienz um über 12%
  3. Vollständige Regierungsführung: Die Unternehmensführung hat sich von einer fragmentierten Sichtbarkeit zu einer „zentralen Glasscheibe“ entwickelt. Sie können jetzt jede Transaktion verfolgen, die Kosten pro Abteilung überprüfen und sicherstellen, dass bei jeder Interaktion die strengen Compliance-Standards im Gesundheitswesen eingehalten werden.

Fazit

Dieses Fortune-50-Unternehmen aus dem Gesundheitswesen hat die Erkenntnisse aus seinem massiven IVR-Einsatz in einer einheitlichen Plattform auf der Grundlage von TrueFoundry kodifiziert und damit das komplexeste Problem der Unternehmens-KI gelöst. Betrieb am zweiten Tag. Sie haben ihren Entwicklern den Zugang zu hochmoderner Infrastruktur demokratisiert und gleichzeitig die strengen Kontrollen aufrechterhalten, die im Gesundheitswesen erforderlich sind. Das Ergebnis ist ein System, das nicht nur leistungsstark genug ist, um eine halbe Milliarde Patientenstimmen zu verstehen, sondern auch effizient genug, um dies nachhaltig zu tun.

Purple gradient background with thin wavy lines on gray, forming a dynamic abstract design pattern.

GenAI infra- einfach, schneller, günstiger

Mehr als 10 Fortune-500-Unternehmen vertrauen uns

Probiere es jetzt
Blank white background with no visible objects or text present.
Sprechen Sie mit Experten
Blank white background with no visible objects or text present.