The Messy Middle: Den Übergang von regelbasierten IVR zu Agentischen Systemen überleben

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
1. Das Übergangsproblem — Warum alte Systeme versagen und LLMs „noch nicht da“ sind
Seit Jahrzehnten verlassen sich Unternehmen auf regelbasierte Interactive Voice Response (IVR) -Systeme um Kundenanrufe zu verwalten. Diese Systeme wurden im Hinblick auf Effizienz konzipiert: Sie leiten Anrufer durch Menüs, erkennen eine Handvoll Stichwörter und leiten sie an das richtige Team oder das richtige Skript weiter. In kleinem Maßstab funktionierte das. Aber in einem Unternehmen, das damit umgeht Hunderte Millionen von Anrufen jährlichwerden diese Einschränkungen schmerzlich deutlich. Kunden folgen keinen Skripten. Sie sprechen in einer natürlichen, frei fließenden, unvorhersehbaren Sprache — manchmal emotional, manchmal technisch, manchmal ungeduldig. Regelbasierte Systeme waren einfach nicht dafür konzipiert, solch unterschiedliche Anfragen zu bearbeiten.
Das Ergebnis? Hohe Anrufabbruchraten, frustrierte Kunden und erheblicher Markenschaden. Unternehmen, die versuchen, menschliche Konversationen in starre Entscheidungsbäume einzuordnen, müssen mit längeren Lösungszeiten, höheren Agentenübergabequoten und explodierenden Betriebskosten rechnen. Schlimmer noch, das Kundenerlebnis leidet auf eine Weise, die sich direkt auf Kundenbindung und Umsatz auswirkt. Branchenanalysen zufolge lag die Csat-Gesamtbewertung im IVR-Selfservice-Bereich 2021 bei 75% und die Gesamtbewertung von IVR Navigation bei nur 53%! [Verknüpfung]
Im Gegensatz zu regelbasierten Systemen LLM-basierte Agentic Systeme kann Absichten analysieren, sich an den Kontext anpassen und in natürlicher, menschenähnlicher Sprache reagieren. Theoretisch können sie mit der Fluidität realer Konversationen in großem Maßstab umgehen. Sie stellen die lang erwartete Veränderung dar: Sie automatisieren nicht nur die Anrufweiterleitung, sondern sprechen auch Kunden auf eine Weise an, die sich persönlich und einfühlsam anfühlt.
Aber das Problem ist: Standard-LLMs sind nicht für die branchenspezifischen Betriebsprozesse großer Unternehmen geschult und auch nicht darauf ausgelegt, Unternehmensstandards für Datenschutz, Zuverlässigkeit und Bereitstellung zu erfüllen. Trotz ihres Versprechens weisen LLMs von heute immer noch Fehlerursachen auf, die CIOs und Compliance-Beauftragte nervös machen. Sie können Antworten „halluzinieren“, regulatorisch sensible Anfragen falsch interpretieren oder von einer Interaktion zur nächsten unterschiedlich klingen. Zuverlässigkeit, Konstanz und Konformität — für ein Fortune-500-Kundenservice-Team alles unbedingte Dinge — können noch nicht garantiert werden.
Dadurch bleiben Unternehmen in der Klemme Übergangsproblem: Das alte System kann das Anrufvolumen technisch bewältigen, aber das führt aufgrund schlecht unterstützter Anwendungsfälle und steigender Erwartungen moderner Benutzer zu einer großen Anzahl unzufriedener Kunden. In der Zwischenzeit sind die neuen Systeme zwar besser auf die heutigen Benutzeranforderungen ausgerichtet, aber noch nicht zuverlässig genug, um die alten Systeme vollständig zu ersetzen.
Für Technologieführer ist dieser Moment von einer heiklen Spannung geprägt: Sie verlassen sich zu sehr auf Altsysteme und riskieren Sie eine zunehmende Unzufriedenheit der Kunden; führen Sie LLMs zu schnell ein und riskieren Sie kostspielige Fehler, die das Vertrauen untergraben.
2. Warum Unternehmen nicht warten können — Die Kosten der Untätigkeit und die Dringlichkeit der Einführung von KI
Für viele Führungskräfte scheint die sicherste Wahl warten, bis LLMs „reif“ sind. In der Praxis ist das jedoch keine Option. Der Wettbewerbsdruck ist zu hoch und die Kosten der Untätigkeit sind hoch.
Zuerst Die Kundenerwartungen haben sich irreversibel verändert. Verbraucher interagieren täglich mit KI-gestützten Chatbots, intelligenten Assistenten und Empfehlungsmaschinen. Wenn sie in einem Milliarden-Dollar-Unternehmen anrufen, erwarten sie von ihren Sprachdialogsystemen dasselbe Maß an Sprachkompetenz, Personalisierung und Reaktionsfähigkeit. Weniger zu liefern, fühlt sich veraltet an. In Branchen wie Banken, Versicherungen und Telekommunikation ist diese Lücke nicht nur lästig — sie reicht aus, um Kunden zu Wettbewerbern zu drängen, die bereits in KI investieren.
Zweitens ist die Wirtschaftlichkeit von Call Centern brutal. Handhabung 500 Millionen Anrufe pro Jahr mit menschlichen Agenten allein ist das nicht machbar. Selbst schrittweise Effizienzsteigerungen führen zu jährlichen Einsparungen in zweistelliger Millionenhöhe. Wenn Sie KI jetzt nicht einführen, bedeutet das nicht nur, dass Sie hinterherhinken, sondern auch unnötige Kostenstrukturen beibehalten, die die Margen schmälern.
Drittens, Wettbewerber bewegen sich. Branchenübergreifend experimentieren Marktführer bereits mit KI-gestützten Kundenerlebnissen. Einige mögen stolpern, aber das Signal an Kunden und Investoren ist klar: Innovation ist im Gange, und Marken, die im Bereich KI führend sind, werden sich von der Konkurrenz abheben. Abseits zu warten, riskiert nicht nur die Kundenabwanderung, sondern auch den Ruf eines „Slow Adopters“.
Schließlich gibt es die organisatorische Lernkurve. Der verantwortungsvolle Einsatz von KI in einer Fortune-500-Umgebung erfordert Zeit: Abstimmung der Rechtsteams, Schulung der Mitarbeiter, Integration in Altsysteme, Einrichtung von Observability-Frameworks. Dies sind keine Funktionen, die über Nacht aktiviert werden können. Selbst wenn LLMs morgen völlig zuverlässig werden, werden Unternehmen, die noch nicht die Voraussetzungen für die Einführung von KI aufgebaut haben, Jahre hinterherhinken.
Kurz gesagt, Unternehmen können es sich nicht leisten zu warten. Die Risiken der Untätigkeit — steigende Kosten, Kundenverluste, verminderte Wettbewerbsfähigkeit — überwiegen bei weitem die Risiken einer sorgfältig gesteuerten Einführung. Die Herausforderung besteht nicht darin, ob man adoptieren soll, sondern wie man verantwortungsbewusst in der chaotischen Mitte adoptiert.
3. Anwendungsfall aus der Praxis: Balancieren von LLMs mit regelbasierten Systemen
TrueFoundry war sich bewusst, dass weder regelbasierte IVRs noch handelsübliche LLM-Lösungen die Anforderungen eines Fortune-500-Unternehmens alleine erfüllen konnten, und arbeitete mit einer der größten Apothekenketten in den USA zusammen, um eine hybrider Sprach-KI-Agent. Das Ziel war ehrgeizig: Die Effektivität eines erfahrenen menschlichen Apothekers bei Millionen von Routineanrufen zu wiederholen, die sich auf den Status der Verschreibung, Nachfüllungen, Ladeninformationen, Inventarkontrollen und andere alltägliche Kundenbedürfnisse beziehen.
Das Herzstück dieses Designs ist ein hybrider Optimierungsansatz: Kombinieren der Effizienz deterministischer regelbasierter Systeme mit dem Flexibilität der KI-gestützten Konversation. Allgemeine und sich wiederholende Anfragen, wie z. B. die Überprüfung der Öffnungszeiten der Filialen oder der zur Abholung bereitstehenden Nachfüllpackungen, werden an folgende Adresse weitergeleitet regelbasierte Fast-Path-Verarbeitung. Das behandelt 90— 95% der Routineanfragen, vermeidet unnötige LLM-Aufrufe, reduziert die Latenz und senkt die Rechenkosten.
Wenn ein Kunde eine komplexere oder mehrdeutigere Anfrage stellt, intelligentes Routingsystem übernimmt. Verwenden Klassifikatoren zur Absichtserkennung, die Der Intent Manager berücksichtigt auch den Hintergrundkontext, der der Kundenanfrage aus einem früheren Gespräch automatisch hinzugefügt wird. Er bestimmt, ob die Anfrage durch Regeln gelöst werden kann oder an einen LLM-gestützten Gesprächsablauf weitergeleitet werden sollte. Dies gewährleistet das richtige Gleichgewicht: vorhersehbare Antworten, wenn es auf Präzision ankommt, und natürliche Interaktionen, wenn Flexibilität entscheidend ist.
Für nuancierte Interaktionen, wie Nachfüllen, Beschleunigen und Stornieren von Flows, haben wir Konversationsagenten entwickelt, die LangGraph. Diese Agenten lassen sich in Backend-Systeme integrieren über Werkzeugaufrufund ermöglicht es ihnen, Nachfüllanfragen in Echtzeit sicher zu bearbeiten. Kunden können ganz natürlich fragen („Können Sie meine Nachfüllung beschleunigen?“) , und das System interpretiert die Absicht, während es die notwendigen Backend-Aktionen ausführt.
Um auch während des Backend-Betriebs ein menschliches Gefühl zu bewahren, haben wir implementiert Fülltext-Antworten („Bitte warten Sie einen Moment, bis ich Ihre Daten abgerufen habe“). Diese subtilen Anpassungen stärken das Vertrauen der Kunden, da sich das System eher ansprechend als roboterhaft anfühlt.
Da die Lösung für Apotheken bestimmt ist, war die Genauigkeit bei der Interpretation von Rezepten nicht verhandelbar. Wir haben integriert branchenspezifische Sprache-zu-Text-Modelle abgestimmt auf das pharmazeutische Vokabular, um die korrekte Erkennung komplexer Arzneimittelnamen zu gewährleisten. Dadurch werden Übertragungsfehler, die andernfalls Kunden frustrieren oder die Patientensicherheit gefährden könnten, erheblich reduziert.
Alle LLM-Interaktionen werden über ein spezielles System geleitet Gateway-Dienst unterstützt durch einen schnellen Verwaltungsservice. Dies ermöglicht die zentrale Verwaltung von Eingabeaufforderungen und Garantien konsistente, vorkonfigurierte Antworten die sowohl den regulatorischen Anforderungen als auch der Markensprache entsprechen. Updates können schnell eingeführt werden, ohne dass Dutzende von Diensten betroffen sind, wodurch das System agil bleibt und gleichzeitig die Einhaltung der Vorschriften gewährleistet ist.
Um das Kundenerlebnis zu gewährleisten, umfasst der Voice AI-Agent Stimmungsanalyse in Echtzeit. Wenn Frustration oder Unzufriedenheit festgestellt werden, wie z. B. wiederholte negative Reaktionen oder eine steigende emotionale Intensität, kann das System eine Eskalation zu einem menschlichen Agenten. Dies stellt sicher, dass sensible Situationen mit Empathie behandelt werden, und verhindert, dass sich negative Kundenerlebnisse verschärfen.
Leistungsüberwachung wird von Analytics AI verwaltet, einem Agentendienst, der zur Analyse von Ereignissen aus dem gesamten System entwickelt wurde. Es verbessert den Geschäftsbetrieb durch:
- Bewertung von Stimmungstrends in Millionen von Konversationen, um frustrierte oder unzufriedene Kunden zu erkennen.
- Automatische Generierung von SQL-Abfragen in allen Geschäftsbereichen (Apothekenbetrieb, Inventar, Callcenter-Metriken).
- Abfragen weiterleiten intelligent zum richtigen Datensatz, um kategoriespezifische Analysen durchzuführen.
- Messung der Leistung auf Serviceniveau, wobei Schwachstellen oder sich abzeichnende Engpässe hervorgehoben werden.
Dies schließt den Kreislauf zwischen Technologie und Geschäft und bietet sowohl Transparenz als auch umsetzbare Erkenntnisse.
Das System ist bereits wird in ~2.000 von 10.000 Geschäften verwendet, bedient täglich Tausende von Kunden. Das Hybridmodell gewährleistet Skalierbarkeit, ohne das Vertrauen zu gefährden: LLMs verbessern die Kundeninteraktionen bei Bedarf, während Regeln in den meisten Fällen Zuverlässigkeit und Geschwindigkeit garantieren. Frühe Implementierungen zeigen deutliche Verbesserungen in Bezug auf Effizienz, Anruflösung und Kundenzufriedenheit.
Kurz gesagt, das Hybrid-Design ist kein Kompromiss — es ist ein strategische Brücke. Es ermöglicht Unternehmen, KI heute verantwortungsbewusst einzusetzen, und ebnet gleichzeitig den Weg für eine Zukunft, in der LLMs möglicherweise einen noch größeren Teil der Last übernehmen.
4. Die Kompromisse: Transparenz in Bezug auf Komplexität und Wartung
Der hybride Ansatz der Sprach-KI löst zwar das Übergangsproblem, bringt aber auch seine eigenen Kompromisse mit sich. Für Unternehmen, die Folgendes verwalten Hunderte Millionen von Kundenanrufen, bei diesen Kompromissen handelt es sich nicht um unbedeutende Details — sie beeinflussen die Gesamtbetriebskosten, die Bereitschaft des Unternehmens und die langfristige Nachhaltigkeit.
1. Erhöhte architektonische Komplexität
In einem rein regelbasierten System ist die Logik deterministisch und relativ einfach nachzuvollziehen. In einem reinen LLM-System könnte die Architektur theoretisch zu einer Conversational Engine plus Backend-Integrationen vereinfacht werden. EIN Ein Hybridsystem erfordert jedoch beides. Das bedeutet, parallele Infrastrukturen aufrechtzuerhalten:
- Deterministische Abläufe für die überwiegende Mehrheit der gängigen Abfragen.
- KI-gestützte Abläufe für nuancierte, hochwertige Interaktionen.
- Eine intelligente Routing-Ebene, die entscheidet, welcher Pfad aktiviert werden soll.
Der Vorteil ist Flexibilität und Belastbarkeit, aber der Kompromiss ist ein komplexere Architektur Dazu müssen funktionsübergreifende Teams entwerfen, überwachen und kontinuierlich optimieren.
2. Höherer Wartungsaufwand
Herkömmliche IVRs erfordern gelegentlich Skript-Updates. Im Gegensatz dazu benötigt ein Hybridsystem laufende Wartung an mehreren Fronten:
- Umschulung des Klassifikators: Aufrechterhaltung der Genauigkeit der Routing-Modelle, wenn neue Anrufmuster entstehen.
- Domänenspezifische Modelle: Wartung von Sprache-zu-Text-Engines, die auf das pharmazeutische Vokabular oder andere Branchenanforderungen abgestimmt sind.
- Überwachung von Pipelines: Stellen Sie sicher, dass die Überwachungstools die richtigen Ereignisse erfassen und umsetzbare Erkenntnisse liefern.
Dadurch werden neue Wartungsrhythmen eingeführt, die näher an Lebenszyklusmanagement für Softwareprodukte als herkömmliche Telefonieunterstützung.
3. Ausgewogenheit zwischen Kosteneffizienz und Leistung
Während regelbasierte Schnellpfade weitergehen 90— 95% der Anrufe mit einfacher und einseitiger Absicht sind effizient, für den Hybrid fallen immer noch Kosten an von:
- Ausführen von LLMs für komplexe Abläufe.
- Betrieb dualer Infrastrukturen.
- Investition in spezialisierte Überwachungs- und Analysesysteme.
Unternehmen müssen abwägen, ob Verbesserung des Kundenerlebnisses rechtfertigt die zusätzlichen Kosten. In vielen Fällen ist dies der Fall, aber die Berechnung des ROI hängt von den Margen der Branche ab. regulatorische Risikenund Kundenerwartungen.
4. Komplexität von Unternehmensführung und Einhaltung
Unternehmen, insbesondere im Gesundheitswesen, im Bankwesen und im Versicherungswesen, müssen strikte Vorschriften durchsetzen. Bei einem Hybridsystem kommen mehr bewegliche Teile zum Einsatz:
- Regelbasierte Antworten bieten Konformität von Grund auf.
- LLM-basierte Abläufe erfordern Leitplanken, Auditing und Überwachung in Echtzeit bei Halluzinationen oder markenfremder Sprache.
- Intelligentes Routing muss sich beweisen Erklärbarkeit: Warum ging ein bestimmter Anruf an einen LLM und nicht an eine Regel?
Dies erhöht die Komplexität der Unternehmensführung, bietet aber auch eine Chance: Das Hybridsystem kann instrumentiert werden für größere Transparenz als jeder Ansatz isoliert.
5. Organisatorischer Kompetenzwandel
Schließlich erfordert die Einführung von Hybriden neue Fähigkeiten. Unternehmen benötigen nicht nur IVR-Designer, sondern auch:
- Datenwissenschaftler für Routing-Klassifikatoren.
- Prompte Techniker für LLM-Flows.
- KI-Betriebsteams zur Verwaltung von Echtzeitüberwachung, Stimmungsanalysen und Eskalationsauslösern.
Dieser Talentwechsel ist für Unternehmen mit älteren Callcenter-IT-Teams eine nicht triviale Überlegung.
Die Quintessenz
Der hybride Ansatz der Sprach-KI ist kein „Set and Forget“. Es ist ein lebendes System das erfordert eine sorgfältige Planung, kontinuierliche Überwachung und organisatorische Investitionen. Die Belohnung ist eine robuste Brücke, die es Unternehmen ermöglicht, KI zu nutzen, ohne die Zuverlässigkeit zu beeinträchtigen. Aber der Kompromiss ist real: höhere Komplexität, höherer Wartungs- und fortlaufender Governance-Bedarf.
Für Führungskräfte, die heute Entscheidungen treffen, ist es entscheidend, diese Kompromisse offen anzuerkennen, um Vertrauen zwischen den Beteiligten aus den Bereichen Technik, Betrieb und Compliance aufzubauen.
5. Zukunftsausblick — Die Kurven von Alt und Neu ausbalancieren
Die Entwicklung der Technologien zur Kundeninteraktion folgt keiner geraden Linie — sie folgt Zyklen. Neue Innovationen sind vielversprechend, erleben unvermeidliche Rückschläge und finden schließlich ihren Platz im Instrumentarium des Unternehmens. Zur gleichen Zeit Traditionelle Technologien verschwinden nicht einfach; sie korrigieren, stabilisieren und liefern weiterhin Wert in Nischen, in denen ihre Stärken unübertroffen sind.
Eine Möglichkeit, darüber nachzudenken, ist erweitern Sie den Gartner Hype Cycle, in dem dargestellt wird, wie sich neue Technologien vom „Innovationsauslöser“ über den „Höhepunkt der überhöhten Erwartungen“, den „Tiefpunkt der Desillusionierung“ bis hin zum „Plateau der Produktivität“ entwickeln. Neben dieser Kurve können wir ein Spiegelbild zeichnen: Überlebenskurve der traditionellen Technologie.
- Auf dem Höhepunkt überhöhter Erwartungen:
Wenn die Begeisterung für die neue Technologie steigt, wird die alte vorzeitig für veraltet erklärt. In unserem Bereich passiert das mit regelbasierte IVRs. Der Hype um Conversational AI hat den Eindruck erweckt, dass deterministische Gesprächsabläufe ohnehin irrelevant sind, obwohl sie für vorhersehbare, sich wiederholende Aufgaben nach wie vor hocheffizient sind. - Im Tal der Desillusionierung:
Wenn die Grenzen der neuen Technologie deutlich werden — hohe Kosten, Zuverlässigkeitslücken, Compliance-Risiken — erleben traditionelle Systeme oft ein Wiederaufleben. Unternehmen entdecken die Stabilität und Berechenbarkeit regelbasierter Systeme wieder und schätzen deren Wirtschaftlichkeit und Präzision. In dieser Phase setzen Unternehmen stärker auf Hybriden, um den Betrieb zu stabilisieren, und experimentieren gleichzeitig weiter mit KI. - Auf dem Plateau der Produktivität:
Schließlich reift die neue Technologie, ihre Anwendungsfälle werden allgemein verstanden und die Bereitstellungsframeworks machen sie sicher und skalierbar. Zu diesem Zeitpunkt ist der alte Technologie verschwindet nicht, aber es geht über in sehr spezifische, unbestrittene Anwendungsfälle. Für IVR bedeutet dies, dass Regeln das beste Instrument bleiben, wenn die Einhaltung der Vorschriften eine absolute Kontrolle über den Wortlaut erfordert oder wenn die Kosten selbst geringfügiger Fehlinterpretationen inakzeptabel sind.
Abbildung 1: Hype-Zyklus neuer Technologien und Widerstand gegen alte Technologien

Wo wir heute sind
Nach den meisten Indikatoren KI-gesteuerte Sprachagenten nähern sich immer noch dem Höhepunkt der überhöhten Erwartungen. Unternehmen sind begeistert von ihrem transformativen Potenzial, beginnen aber auch, ihrer Fragilität in großem Umfang zu begegnen. Die Wahrheit ist, wir sind immer noch in der Prozess der Suche nach dem richtigen Gleichgewicht: wo KI das Erlebnis verbessert und wo Regeln als Leitplanken dienen.
Dieses Gleichgewicht ist kein Kompromiss; es ist ein strategische Brücke über die Kurven. Indem Unternehmen jetzt hybride Ansätze verfolgen, positionieren sie sich in der Lage, die Vorteile der KI-Innovation zu nutzen, ohne die Zuverlässigkeit bewährter Systeme zu vernachlässigen. Im Laufe der Zeit, da sich die KI ihrem Produktivitätsplateau nähert, wird die Rolle traditioneller Sprachdialogsysteme zwar schrumpfen, aber sie wird niemals verschwinden — sie wird in diesen Bereichen fortbestehen unternehmenskritische Nischenkontexte, in denen Berechenbarkeit an erster Stelle steht.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.
Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren











.png)




.png)






.webp)

.webp)



