Von Token-Ausgaben zur Workflow-Ökonomie: Was der Return-on-AI-Rahmen der BCG erfordert

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Eine Token-Rechnung verrät Ihnen, was die Inferenz gekostet hat. Sie verrät Ihnen jedoch nicht, ob die Arbeit akzeptiert wurde, ob ein Mensch sie nachbessern musste oder ob das Geschäftsergebnis zwei Wochen später eintrat. Die Steuerung der KI-Ökonomie erfordert eine neue Steuerungseinheit: den Workflow-Durchlauf, verknüpft mit seinem tatsächlichen Ergebnis.
Die BCG schlägt einen sinnvollen Weg ein: Hören Sie auf, das Token als Steuerungseinheit zu betrachten, und beginnen Sie, die Kosten eines erfolgreichen Ergebnisses zu messen. Ihr „Return-on-AI“-Ansatz stellt den wirtschaftlichen Ertrag über die kombinierten Kosten von menschlicher Intelligenz und Token. Sie plädiert zudem für ein Betriebsmodell auf Workflow-Ebene, das Ausgaben sichtbar macht, Kosten gestaltet und den Wert belegt – oder die Aktivität stoppt.
Die Idee ist fundiert. Der schwierige Teil ist die Umsetzung.
Modell-Gateways beobachten Anfragen. Agent-Runtimes beobachten Durchläufe, Tools, Wiederholungen und Pausen. Die Finanzabteilung sieht Rechnungen. Geschäftssysteme beobachten, ob ein Vorgang abgeschlossen, eine Zahlung verbucht, ein Pull Request bereitgestellt oder eine Eskalation erneut geöffnet wurde. Keiner dieser Datensätze allein ergibt den Return on AI.
1. Das Token ist eine Abrechnungseinheit, keine Geschäftseinheit
Token bleiben eine wesentliche Telemetrie. Sie erklären die Eingabegröße, Ausgabegröße, das Cache-Verhalten und einen Teil der Kosten eines Modellaufrufs. Sie haben jedoch keine stabile geschäftliche Bedeutung über verschiedene Modelle oder Anbieter hinweg. Tokenizer unterscheiden sich. Eingabe, Ausgabe, zwischengespeicherte Eingabe, Cache-Erstellung, Reasoning, Audio und andere Modalitäten können unterschiedlichen Abrechnungsregeln unterliegen. Eine Million Einheiten in einem Produkt sind nicht automatisch gleichbedeutend mit einer Million Einheiten in einem anderen.
Selbst innerhalb einer Preiskategorie, in der die abgerechneten Kosten linear mit dem Token-Volumen skalieren können, muss dies für die Workflow-Ökonomie nicht gelten. Ein größerer Kontext kann das Modellverhalten verändern. Ein günstigeres Modell kann mehr Wiederholungen auslösen. Eine prägnante Antwort kann den menschlichen Prüfaufwand erhöhen. Ein Cache-Treffer kann einen Inferenzaufruf einsparen, aber eine Antwort liefern, die für den aktuellen Status des Benutzers veraltet ist. Ein Agent kann in eine Tool-Schleife geraten, die pro Aufruf wenig, aber pro gelöstem Fall viel kostet.
Die BCG identifiziert vier interagierende Kostenfaktoren: Breite und Tiefe der Einführung, Aufgabenintensität, Kontext und Schleifen sowie den Modell-Mix. Diese Einordnung ist wichtig, da jeder Faktor über der einzelnen Anfrage existiert. Eine einzelne Anfrage ist oft zu klein, um den Arbeitsaufwand abzubilden; eine monatliche Anbieterrechnung ist zu groß, um Verantwortung oder Wert zuzuweisen.

2. Definieren Sie zwei Verträge, bevor Sie das Dashboard erstellen
Ein glaubwürdiges System für Workflow-Ökonomie beginnt mit zwei expliziten Verträgen: einem Kostenrahmen und einem Ergebnisvertrag. Der erste legt fest, welche Ressourcen zählen. Der zweite definiert, was Erfolg bedeutet. Bleibt einer von beiden implizit, wird die Kennzahl „Kosten pro Ergebnis“ zu einer Zahl mit einem instabilen Nenner oder einem verhandelbaren Zähler.
Der Kostenrahmen
Erfassen Sie für jeden Workflow-Durchlauf die Kosten, die die Entscheidung maßgeblich beeinflussen. Dazu gehören in der Regel Modell-Inferenz, Tool- und Infrastrukturnutzung, menschliche Aufsicht sowie Fehler oder Nachbesserungen. Die Kategorien sollten sich gegenseitig ausschließen oder durch eine Zuteilungsregel gesteuert werden, damit dieselbe Korrekturzeit nicht doppelt gezählt wird. Das Ziel ist keine falsche Präzision. Menschliche Zeit kann beispielsweise nach Workflow und Rolle stichprobenartig erfasst werden, anstatt jeden Klick zu messen. Die Anforderung ist Konsistenz: Verwenden Sie dieselben Einschlussregeln, wenn Sie Richtlinien vergleichen.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.

















.png)
.png)
.png)
.png)
.png)






.png)





