Blank white background with no objects or features visible.

Hallo EMEA! TrueFoundry baut seine Präsenz in Europa, dem Nahen Osten und Afrika weiter aus. Mehr erfahren. →

Enterprise-KI-Plattform Ausschreibung (RFP)

von Ashish Dubey

Aktualisiert: November 20, 2026

Published: Mai 8, 2026

Enterprise-KI-Plattform RFP

50 Fragen, die Sie jedem Anbieter im Jahr 2026 stellen sollten

Evaluierungen von Enterprise-KI-Plattformen scheitern auf vorsehbare Weise. Die Demo des Anbieters läuft mit einem kuratierten Test-Prompt. Seine Preisübersicht basiert auf Annahmen von 5.000 Tokens pro Aufruf, die nicht Ihrer tatsächlichen Arbeitslast entsprechen. Das gezeigte Sicherheitsarchitektur-Diagramm gilt für einen Bereitstellungsmodus, nach dem Sie nicht gefragt haben. Die behauptete MCP-Funktion ist erst „im nächsten Release“ verfügbar. Sechs Wochen später unterzeichnen Sie einen Vertrag für ein Produkt, das zu 70 Prozent passt, und Ihr Plattform-Team verbringt die Vertragslaufzeit damit, die restlichen 30 Prozent durch Eigenentwicklungen zu schließen.

Eine bewertete Ausschreibung (RFP) ändert diese Dynamik. Jeder Anbieter beantwortet dieselben Fragen schriftlich, bevor irgendeine Demo läuft. Ausweichende Antworten (eine umgangene Frage, eine Funktion, die „unseren Integrationspartner erfordert“, ein Compliance-Versprechen, das einer Detailfrage nicht standhält) werden im schriftlichen Protokoll offenbart, wo sie in einem Folgegespräch nicht mehr umgedeutet werden können. Dasselbe Protokoll zieht den Anbieter zur Rechenschaft, wenn die Realität nach der Unterschrift von den Vertriebsversprechen vor der Unterschrift abweicht – die mit Abstand häufigste Beschwerde im Beschaffungsprozess bei der Verlängerung nach dem ersten Jahr.

Drei Themen heben diese Vorlage über allgemeine Beschaffungs-Frameworks hinaus. MCP-Governance, der Protokoll-Stack, den Ihre KI-Agenten zur Kommunikation mit Werkzeugen nutzen werden und bei dem die meisten KI-Gateway-Produkte nachträglich Zugriffskontrollen anbauen, für die sie nicht konzipiert wurden. Agentische KI-Steuerung, die Trace-Korrelation, Kostenzuordnung und Isolationsgrenzen, die eine mehrstufige Agenten-Aufgabe in eine debuggbare, abrechenbare und steuerbare Einheit verwandeln, anstatt in einem Nebel unzusammenhängender LLM-Aufrufe zu enden. KI-spezifische Compliance, einschließlich Feldparität im Audit-Log zwischen LLM- und Tool-Aufrufen, strukturierte Antworten zur Datenresidenz, die das Routing von Modellanbietern über Regionen hinweg berücksichtigen, sowie architektonische BAA-Kontrollen, die die HIPAA-Durchsetzung zu einer realen Schutzmaßnahme statt zu bloßem Papierkram machen.

Nutzen Sie dies als Ausgangspunkt. Passen Sie die Gewichtungen an Ihre Umgebung an. Senden Sie dasselbe Dokument an jeden Anbieter auf Ihrer engeren Auswahl. Das Solutions-Team von TrueFoundry ist darauf vorbereitet, alle 50 Fragen schriftlich und mit Nachweisen im Rahmen der formalen Enterprise-Evaluierung zu beantworten.

Nun zu den Fragen selbst.

Abbildung 1. Split-Plane-Referenzarchitektur: Control Plane und Compute Plane sind durch eine reine Metadaten-Grenze getrennt, wobei ein einziger IdP Identitätsdaten in beide einspeist.

Senden Sie dieses RFP an TrueFoundry. Wir werden alle 50 Fragen mit Nachweisen beantworten.

  • Das Solutions-Team von TrueFoundry liefert schriftliche RFP-Antworten mit Nachweisen im Rahmen jeder Enterprise-Evaluierung. Buchen Sie ein Gespräch, um die Evaluierung nach Ihrem Zeitplan zu starten.

So nutzen Sie diese RFP-Vorlage effektiv

Die Reihenfolge der Schritte ist wichtiger als die Fragen selbst. Die meisten gescheiterten Evaluierungen überspringen den ersten Schritt: das Einholen schriftlicher Antworten auf die gesamte Vorlage, bevor ein Anbieter eine Demo zeigen darf. Demos dienen der Überprüfung schriftlicher Zusagen, nicht der Funktionserkundung. Wenn die erste Präsentation eines Features durch einen Anbieter auf einer Folie erfolgt, haben Sie ihm die Kontrolle über die Evaluierungsdokumentation überlassen.

Senden Sie die Vorlage gleichzeitig an jeden Anbieter Ihrer engeren Auswahl, mit einer Frist für die schriftliche Rückmeldung von zwei Wochen. Nutzen Sie die Antworten für eine Bewertung anhand einer gewichteten Rubrik. Erst nach der Auswertung buchen Sie Demos. In diesen Demos besteht die Aufgabe Ihres Plattform-Teams darin, zu überprüfen, ob die schriftlichen Angaben mit dem laufenden System übereinstimmen. Betrachten Sie jede Zusage, die erst in der Demo auftaucht, aber nicht in der schriftlichen Antwort enthalten war, als Klärungsbedarf und nicht als positiv zu bewertendes Feature.

Einige konkrete Empfehlungen für eine erfolgreiche Durchführung:

  • Empfohlene Bewertungsgewichtung. Sicherheit und Compliance mit 25 Prozent (in den meisten regulierten Umgebungen nicht verhandelbar). Deployment und Infrastruktur mit 20 Prozent (entscheidet darüber, ob die Plattform überhaupt in Ihrer Umgebung laufen kann). KI-Gateway und LLM-Governance mit 20 Prozent. MCP- und Agenten-KI-Governance mit 20 Prozent (die differenzierende Fähigkeit für 2026 und der Bereich, mit dem die meisten Anbieter Schwierigkeiten haben werden). Observability und Kostenkontrolle mit 15 Prozent. Passen Sie die Gewichtung an Ihre Prioritäten an. Ein Team mit FedRAMP-Anforderungen gewichtet Sicherheit wahrscheinlich höher; ein Plattform-Team, das FinOps für eine jährliche LLM-Rechnung von 2 Mio. $ optimiert, gewichtet Kostenkontrollen höher.
  • Umgang mit vagen Antworten. Fordern Sie Nachweise für jede Compliance-Behauptung: SOC 2 Type II Bericht, HIPAA BAA Vorlage, Zusammenfassung des letzten Penetrationstests. Werten Sie „in einem zukünftigen Release verfügbar“ als nicht verfügbar, es sei denn, das Datum ist vertraglich zugesichert. Werten Sie „über eine Drittanbieter-Integration verfügbar“ als nicht verfügbar, es sei denn, die Integration ist vorgefertigt und wird vom Anbieter gewartet.
  • Warnsignale (Red Flags) in RFP-Antworten. Achten Sie auf: Antworten, die auf Dokumentationen verweisen, anstatt direkt zu antworten. Aussagen wie „Enterprise-ready“ ohne spezifische Kontrollbeschreibungen. Genannte Compliance-Zertifizierungen ohne Klarstellung des Geltungsbereichs (deckt SOC 2 das Multi-Tenant-SaaS-Deployment, das On-Premise-Deployment oder beides ab?). MCP- oder Agenten-Governance-Fragen, die stattdessen mit der Beschreibung von LLM-Observability beantwortet werden. Letzteres ist das verräterische Anzeichen: Wenn der Anbieter Abschnitt 4 beantwortet, indem er über Abschnitt 5 spricht, verfügt er über kein MCP-Gateway.

Wenn Sie schon einmal in einer Sicherheitsüberprüfung saßen, bei der sich der Compliance-Umfang des Anbieters nur auf die SaaS-Option bezog, die Sie gar nicht nutzen wollten, kennen Sie die Kosten des Überspringens dieser systematischen Bewertung. Ein bewertetes RFP erzwingt diese Details vor dem Vertragsabschluss.

Abschnitt 1: Sicherheit und Compliance (10 Fragen)

Sicherheit und Compliance ist der Bereich, in dem die meisten KI-Plattform-Evaluierungen im zweiten Gespräch scheitern. Nicht, weil den Anbietern Zertifizierungen fehlen. Die meisten verfügen irgendwo über ein SOC 2 Type II. Die Fehlerursache liegt in der Abstimmung: Der Zertifizierungsumfang, die implementierten architektonischen Kontrollen und der von Ihnen tatsächlich gekaufte Bereitstellungsmodus stimmen nicht überein. Ein SOC 2, das das Marketingportal des Anbieters abdeckt, nützt nichts für ein KI-Gateway, das PHI On-Premise verarbeitet. Ein BAA, das als Vorlage existiert, aber nicht beschreibt, wie PHI in der Data Plane isoliert wird, ist Bürokratie, keine Schutzmaßnahme. Die folgenden Fragen erzwingen die Übereinstimmung zwischen Zertifizierungsumfang und architektonischer Realität, die verhindert, dass „Wir sind zertifiziert“-Antworten unberechtigtes Gewicht erhalten.

Ein weiteres Fehlermuster, das früh genannt werden sollte: Anbieter, die Sicherheitsfragen abstrakt beantworten, weil ihre konkrete Architektur auf zwei Produkte mit unterschiedlichen Sicherheitsstandards aufgeteilt ist. Ihre On-Premise-Version hat einen geringen Funktionsumfang und ist nicht separat zertifiziert. Ihre SaaS-Version verfügt über die Zertifizierungen, passt aber nicht in Ihre Umgebung. Erkennen Sie dies, indem Sie dieselbe Frage zweimal stellen und dabei jeweils den Bereitstellungsmodus angeben. Wenn die Antworten voneinander abweichen, betrachten Sie zwei Produkte, die als eines vermarktet werden.

Bewerten Sie diesen Abschnitt streng.

  • Unterstützt die Plattform eine On-Premise- oder VPC-isolierte Bereitstellung, bei der keine Kundendaten – einschließlich Prompt-Inhalte, Modellantworten und Audit-Logs – das Cloud-Konto des Kunden verlassen? Beschreiben Sie die Bereitstellungsarchitektur und nennen Sie jede Komponente, die eine ausgehende Verbindung zur Infrastruktur des Anbieters erfordert (Telemetrie, Lizenzierung, Updates). Erläutern Sie, was mit der Plattformfunktionalität passiert, wenn die ausgehende Verbindung getrennt wird.

Was „VPC-isoliert“ architektonisch bedeuten sollte.

Ein Split-Plane-Deployment, bei dem die Data Plane (der Proxy, der Prompts, Modellantworten, Embeddings und MCP-Tool-Aufrufe verarbeitet) vollständig im VPC des Kunden läuft und niemals eine ausgehende Verbindung zur Infrastruktur des Anbieters für Request-Nutzlasten öffnet. Die Control Plane (Konfiguration, RBAC-Einstellungen, Dashboards) kann je nach Bereitstellungsmodus in der Infrastruktur des Anbieters oder des Kunden laufen, tauscht jedoch nur Metadaten aus. Audit-Logs, Prompt-Response-Daten und Embeddings landen im kundenkontrollierten Objektspeicher (S3, GCS, Azure Blob), nicht in vom Anbieter verwalteten Datenbanken. Wenn das „VPC-Deployment“ des Anbieters immer noch Prompts an einen vom Anbieter verwalteten Log-Aggregator sendet, handelt es sich um ein SaaS-Deployment in einer anderen Verpackung.

  • Ist die Plattform nach SOC 2 Type II zertifiziert? Legen Sie den aktuellen Audit-Bericht vor, aus dem der Umfang der abgedeckten Dienste klar hervorgeht. Geben Sie an, ob die Zertifizierung die On-Premise-Bereitstellungsoption oder nur das SaaS-Produkt abdeckt. Viele Anbieter sind für das eine SOC 2-zertifiziert und für das andere nicht; der Bericht wird es zeigen.

Den Bericht richtig lesen.

Überprüfen Sie den Abschnitt „System Description“ auf die explizite Nennung der abgedeckten Bereitstellungsmodi. Achten Sie auf Formulierungen wie „the multi-tenant SaaS environment hosted in [cloud]“ im Vergleich zu „the customer-deployed gateway and control plane components“. Wenn in der Beschreibung nur eines genannt wird, deckt die Zertifizierung auch nur dieses eine ab. Überprüfen Sie die abgedeckten Trust Services Criteria. Sicherheit ist die Basis, aber Verfügbarkeit, Vertraulichkeit und Verarbeitungsintegrität sind entscheidend für KI-Workloads, die regulierte Daten verarbeiten. Ein SOC 2, das nur die Sicherheit abdeckt, ist nur die halbe Miete.

  • Unterstützt die Plattform HIPAA-konforme Bereitstellungen? Ist ein Business Associate Agreement (BAA) verfügbar und welche Compliance-Dokumentation stellt der Anbieter im Rahmen der Enterprise-Evaluierung zur Verfügung? Beschreiben Sie die architektonischen Kontrollen, die eine Offenlegung von PHI verhindern (Datentrennungsgrenzen, Verschlüsselungsanforderungen, Handhabung von Audit-Logs), und nicht nur das Vorhandensein eines BAAs. Ein unterzeichnetes BAA ohne durchgesetzte Kontrollen ist ein Risiko. Haken Sie hier nach.
  • Wie werden API-Anmeldeinformationen, Schlüssel von Modellanbietern und Token für Dienstkonten verwaltet? Werden sie in der Infrastruktur des Anbieters, der Infrastruktur des Kunden oder einem vom Kunden verwalteten Secrets Manager wie AWS Secrets Manager, HashiCorp Vault oder Azure Key Vault gespeichert? Beschreiben Sie den Rotationsprozess für kompromittierte Anmeldeinformationen und das maximale Zeitfenster zwischen Rotationsanforderung und Fertigstellung.

Wie eine gute Integration aussieht.

Die Plattform bezieht Schlüssel von Modellanbietern beim Start des Gateways oder auf Anfrage aus dem Vault oder Secrets Manager des Kunden unter Verwendung einer vom Kunden verwalteten IAM-Rolle, wobei Schlüsselreferenzen (nicht die Schlüsselwerte selbst) in der Plattformkonfiguration gespeichert werden. Die Rotation ist ein Vault-Vorgang: Überschreiben Sie den Schlüssel im Vault, das Gateway übernimmt den neuen Wert beim nächsten Lesevorgang oder nach einem konfigurierbaren Aktualisierungsintervall. Die Plattform speichert Anbieterschlüssel niemals dauerhaft im Ruhezustand (at rest). Wenn die Antwort des Anbieters lautet: „Sie laden Schlüssel in unsere Admin-Benutzeroberfläche hoch und wir speichern sie verschlüsselt“, handelt es sich um ein anderes (und schwächeres) Sicherheitsmodell. Die Schlüssel befinden sich nun selbst bei einem „VPC“-Deployment in der Infrastruktur des Anbieters.

  • Erzeugt die Plattform strukturierte Audit-Logs in einem Format, das mit Enterprise-SIEMs kompatibel ist (JSON, CEF, Syslog)? Stellen Sie einen Beispiel-Logeintrag für einen LLM-Inferenzaufruf bereit, bei dem alle Felder gekennzeichnet sind. Stellen Sie ein entsprechendes Beispiel für einen MCP-Tool-Aufruf bereit. Beide sollten hinsichtlich der Feldabdeckung gleichwertig sein; wenn MCP-Logs weniger Details enthalten, ist das ein Zeichen dafür, dass die MCP-Governance nachträglich angefügt und kein Kernbestandteil ist.

Wie Feldparität in der Praxis aussieht. Ein vollständiger Logeintrag für eine LLM-Inferenz enthält im Wesentlichen diese Felder:

Das MCP-Tool-Aufruf-Log sollte Feld-Parität für die gemeinsamen Dimensionen (timestamp, request_id, trace_id, user, application, latency_ms, status, policy decision) plus die werkzeugspezifischen Felder aufweisen:

Beachten Sie die identische trace_id bei beiden: Der LLM-Aufruf und die MCP-Ausführung korrelieren mit einer einzelnen Benutzeranfrage – dies ist die konkrete Antwort auf Frage 8 in Abschnitt 4. Hashen Sie die Parameter, anstatt sie im Klartext zu loggen. Vollständiges Parameter-Logging stellt in regulierten Umgebungen ein Datenabfluss-Risiko dar. Wenn dem Beispiel-MCP-Log des Anbieters policy.decision, trace_id oder die Benutzerzuordnung fehlen, ist MCP-Governance lediglich eine nachträgliche Berichterstattung und keine Durchsetzung.

Figure 2. Audit log data flow: field parity between LLM inference events and MCP tool invocation events, both correlated by one trace_id.

Abbildung 2. Audit-Log-Datenfluss: Feld-Parität zwischen LLM-Inferenz-Ereignissen und MCP-Tool-Aufruf-Ereignissen, beide korreliert durch eine trace_id.

  • Wie sieht die vom Kunden konfigurierbare Aufbewahrungsrichtlinie für Audit-Logs aus? Kann der Kunde Aufbewahrungsfristen pro Log-Typ (Auth-Ereignisse, Modell-Inferenz, MCP-Aufrufe, Admin-Aktionen) festlegen? Wo werden Logs in VPC-isolierten Bereitstellungen gespeichert, und hat der Anbieter irgendeinen Zugriffspfad darauf?
  • Beschreiben Sie, wie Daten im Ruhezustand (Data at Rest) über die Datenspeicher der Plattform hinweg verschlüsselt werden: Konfigurationsdatenbanken, Audit-Log-Speicher, Observability- und Tracing-Daten, Modell-Artefakte und sämtliche Vektorindizes. Welche Verschlüsselungsschlüssel stehen unter der Kontrolle des Kunden? Kann der Kunde in kunden-deployten (Self-Hosted) Modi den nativen Schlüsselverwaltungsdienst des Cloud-Anbieters (AWS KMS, Azure Key Vault, GCP KMS) für die Verschlüsselungsschlüssel nutzen, die die Plattformdaten schützen? Die Verschlüsselung mit anbieterverwalteten Schlüsseln ist der Standard; vom Kunden kontrollierte Schlüssel sind das Upgrade.

Warum diese Frage wichtiger ist, als sie aussieht.

„Im Ruhezustand verschlüsselt“ ist universell. Wessen Schlüssel die Verschlüsselung durchführt, ist die eigentliche Kontrolle. In einem Self-Hosted Deployment sind vom Kunden kontrollierte Schlüssel erreichbar, da sich die Datenspeicher im Konto des Kunden befinden; in einem SaaS-Deployment sind vom Kunden kontrollierte Schlüssel eine anbieterseitige Funktion, die gezielt entwickelt werden muss. Stellen Sie die Frage unter Angabe des Deployment-Modus.

  • Beschreiben Sie die Sicherheitsbewertungs-Kultur der Plattform durch Dritte. Welchen unabhängigen Sicherheitsüberprüfungen wurde die Plattform in den letzten 12 Monaten unterzogen (Penetrationstests, Code-Audits, sichere Architektur-Reviews), und welche Nachweise werden im Rahmen einer Enterprise-Evaluierung erbracht? Offene Ergebnisse, die nach 90 Tagen noch ungelöst sind, verdienen eine schriftliche Erklärung des Warums sowie einen Zeitplan für die Behebung.
  • Beschreiben Sie den Prozess zur Offenlegung von Schwachstellen und zum Patch-Management, einschließlich des SLA für das Anwenden kritischer Sicherheitspatches auf Kunden-Deployments. Beschreiben Sie für Self-Hosted Deployments, wie Patches die Kundenumgebung erreichen und wer für deren Einspielung verantwortlich ist.

Patch-SLA-Stufen, die Sie einfordern sollten (branchenüblich für Enterprise-Plattformen):

Schweregrad CVSS-Bereich Patch-Verfügbarkeit Fenster für Kundenanwendung
Kritisch 9.0 bis 10.0 7 Tage ab Offenlegung 14 Tage
Hoch 7.0 bis 8.9 14 Tage 30 Tage
Mittel 4.0 bis 6.9 30 Tage 90 Tage
Niedrig 0.1 bis 3.9 Nächstes Minor-Release Ermessen des Kunden

Bei Self-Hosted-Deployments bedeutet „Patch-Verfügbarkeit“ ein getaggtes Release, das das Plattform-Team des Kunden bereitstellen kann. Das „Fenster für Kundenanwendung“ ist die SLA, zu der sich der Kunde intern verpflichtet. Wenn der Anbieter ein 30-Tage-Fenster für den Kunden bei kritischen CVEs vorschlägt, ist das ein langer Zeitraum, in dem Sie exponiert sind; fordern Sie hier Anpassungen.

  • Wo werden Kundendaten in jedem Deployment-Modus physisch gespeichert und verarbeitet? Führen Sie die verfügbaren Optionen zur Data Residency auf (USA, EU, länderspezifisch) und beschreiben Sie die Kontrollen, die verhindern, dass Kundendaten während eines Failovers oder einer Wartung außerhalb der gewählten Region verarbeitet werden. Benennen Sie für SaaS-Deployments die beteiligten Subprozessoren (Cloud-Anbieter, Observability-Anbieter, Support-Tools) und stellen Sie die aktuellste Subprozessoren-Liste zur Verfügung.

Abschnitt 2: Deployment und Infrastruktur (8 Fragen)

Die meiste Enterprise-Beschaffung scheitert beim Deployment. Die Plattform sieht in der SaaS-Demo großartig aus, doch dann deckt der Security-Review drei Dinge auf, die sie blockieren: ausgehende Konnektivität zur Anbieter-Infrastruktur für Telemetrie, eine in der Anbieter-Cloud gehostete Konfigurationsdatenbank und eine Control Plane, die eng an eine bestimmte Cloud-Region gekoppelt ist. Bis diese Einschränkungen sichtbar werden, haben Sie bereits Preise für das falsche Produkt verhandelt. Der weitere Weg besteht dann entweder darin, aus einer Position der versunkenen Kosten neu zu verhandeln, oder ein Deployment zu akzeptieren, das Compliance-Schulden schafft.

Dieser Abschnitt deckt Deployment-Einschränkungen im Vorfeld auf. Die Anbieter, die diese Fragen sauber beantworten können, sind diejenigen, die bereits in Umgebungen wie Ihrer deployed haben. Die Anbieter, die ein Discovery-Call benötigen, um Abschnitt 2 zu beantworten, haben das nicht – und Sie werden das Integration Engineering in genau dem Discovery-Call erledigen, für den Sie sie bezahlen.

Achten Sie genau auf die Antworten.

  • Welche Cloud-Anbieter und Regionen werden für das Deployment unterstützt? Kann die Plattform in jeder AWS-, Azure- oder GCP-Region ausgeführt werden, oder gibt es geografische Einschränkungen? Wie sieht das Support-Konzept für GovCloud, China-Regionen und Sovereign-Cloud-Deployments aus?
  • Kann die Plattform gleichzeitig über mehrere Cloud-Provider hinweg (AWS und Azure oder AWS und GCP) mit einer einzigen einheitlichen Control Plane, einheitlicher Kostenzuweisung und einem einzigen Audit-Log-Stream betrieben werden? „Multi-Cloud“ bedeutet manchmal nur: „Wir unterstützen alle drei Clouds, aber jeweils nur eine gleichzeitig.“ Das ist nicht dasselbe wie ein Workload, der sich über zwei Clouds mit einer einzigen Bedieneroberfläche erstreckt.
  • Was ist die minimale Infrastruktur, die für den Produktionsbetrieb der Plattform erforderlich ist? Stellen Sie Referenzarchitektur-Diagramme für Standard- und Hochverfügbarkeits-Konfigurationen bereit, einschließlich Compute-, Datenbank-, Netzwerk- und Speicheranforderungen. Quantifizieren Sie dies in vCPU, GB RAM und Persistent Storage Volume.

Was eine HA-Referenzarchitektur für ein VPC-isoliertes AI-Gateway typischerweise umfasst:

‍

Größenordnung für dauerhafte ~500 RPS: 3 bis 4 Gateway-Replikate mit jeweils 2 vCPU / 4 GB RAM, Postgres mit 4 vCPU / 16 GB RAM mit 100 GB SSD, Blob-Speicher skaliert mit der Aufbewahrungsdauer (eine 90-Tage-Aufbewahrung bei 10 KB/Log-Eintrag und 500 RPS entspricht etwa 1,2 TB). Der Anbieter sollte solche Zahlen vor der Vertragsunterzeichnung schriftlich vorlegen – nicht ein „hängt vom Workload ab“.

Figure 3. One control plane managing compute planes across AWS, Azure, GCP, and on-prem Kubernetes simultaneously, each with its own data residency boundary.

Abbildung 3. Eine Control Plane verwaltet gleichzeitig Compute Planes über AWS, Azure, GCP und On-Premises-Kubernetes hinweg, jede mit ihrer eigenen Data-Residency-Grenze.

  • Wie sieht das dokumentierte Uptime-SLA aus? Ist es vertraglich bindend oder ein Richtwert? Beschreiben Sie die Hochverfügbarkeits-Konfiguration, die zum Erreichen des angegebenen SLAs erforderlich ist, und ob der Kunde oder der Anbieter für diese Konfiguration verantwortlich ist.
  • Wie werden Plattform-Updates und -Upgrades für Kundenbereitstellungen bereitgestellt? Können Kunden den Upgrade-Zeitplan steuern, bestimmte Versionen für Tests zurückhalten und ein Rollback durchführen, falls ein Release Probleme verursacht? Wie hoch ist der typische Zeitverzug zwischen einem SaaS-Release und dem entsprechenden On-Prem-Release?
  • Unterstützt die Plattform Bereitstellungen mit eingeschränkter oder kontrollierter ausgehender Konnektivität? Beschreiben Sie für Umgebungen, in denen ausgehender Datenverkehr nur für bestimmte Ziele freigeschaltet ist (Corporate Egress Proxy, nur Modellanbieter-Endpunkte), was die Plattform für ihre Funktion benötigt und welche Funktionen sich bei eingeschränktem Egress anders verhalten. Werden Sie spezifisch bezüglich dessen, was nicht funktioniert – nicht nur bezüglich dessen, was funktioniert.
  • Wie sieht das dokumentierte Disaster-Recovery-Konzept aus? Geben Sie RTO- und RPO-Zahlen für jeden Bereitstellungsmodus an (SaaS, Single-Region Self-Hosted, Multi-Region Self-Hosted). Beschreiben Sie den Failover-Prozess, ob das Failover automatisch oder durch Operatoren initiiert erfolgt, sowie die Datenverlustgrenze in jedem Szenario. Eine Plattform mit einer RTO von 4 Stunden klingt gut, bis Ihre Anwendung 4 Stunden lang ausfällt.

RTO-/RPO-Zielwerte in der Größenordnung, die von einer enterprise-fähigen Plattform zu erwarten sind:

Bereitstellungsmodus RTO RPO Failover
Multi-Region Active-Active <5 Min. ~0 (synchrone Replikation) Automatisch, Health-Checks auf Gateway-Ebene
Multi-Region Active-Passive 15 bis 30 Min. <5 Min. Automatisch mit Bestätigung durch Operator
Single-Region Multi-AZ 5 bis 15 Min. (AZ-Ausfall) <1 Min. Automatisch innerhalb der Region
Single-AZ Self-Hosted Kunden-definiert Kunden-definiert Kunden-betrieben

‍

Alles, was bei einem Multi-Region-Produktions-Setup schlechter als dies ist, sollte mit einer schriftlichen Erklärung begründet werden. „Wir unterstützen kein Multi-Region“ ist von einem kleinen Anbieter akzeptabel; „Wir unterstützen es, verpflichten uns aber nicht zur RTO“ ist es nicht.

  • Können Kunden alle ihre Daten, einschließlich Audit-Logs, Prompt-Response-Paare, Konfigurations- und Observability-Daten, in einem strukturierten Format exportieren? Beschreiben Sie den Exportmechanismus, die unterstützten Formate (parquet, JSON, CSV) und alle Daten, die der Kunde nicht aus der Plattform extrahieren kann. Ein Lock-in durch unzugängliche Daten ist eine reale Gefahr.

Abschnitt 3: AI Gateway und LLM Governance (9 Fragen)

Jede Produktseite eines AI-Gateways liest sich gleich: einheitliche API, intelligentes Routing, Kostenkontrolle, Observability. Die konkreten Details hinter diesen Begriffen trennen ein Gateway, das Sie in der Produktion betreiben können, von einem einfachen Proxy mit einer Marketing-Website. „Intelligentes Routing“ kann alles bedeuten – von einem statischen Round-Robin zwischen zwei Modellen bis hin zu einer echten Kaskadierungs-Policy mit Obergrenzen für Kosten, Abgleich von Fähigkeiten und Fallback-Ketten. „Kostenkontrolle“ kann ein Dashboard bedeuten, das Ihnen die Rechnung von gestern anzeigt, oder es kann harte Token-Budgets bedeuten, die der Anwendung tatsächlich den Fehlercode 429 zurückgeben, wenn ein Team sein Limit erreicht.

Die Fragen in diesem Abschnitt erzwingen konkrete Angaben. Lehnen Sie Antworten ab, die Ihnen nur die Marketingtexte wiedergeben. Der Anbieter, der sagt: „Wir unterstützen intelligentes Routing“, ohne die Regelsprache, das Kaskadenverhalten, die Fehlerbehandlung und die Budgetintegration zu beschreiben, verfügt über kein Routing. Er hat lediglich ein Konfigurations-Flag.

Fordern Sie den Nachweis ein, dass die Architektur tatsächlich existiert.

  • Welche LLM-Provider und Modellversionen unterstützt die Plattform? Geben Sie die vollständige Liste an. Wie häufig wird die Provider-Liste aktualisiert, wenn neue Modelle veröffentlicht werden? Was ist die typische Verzögerung zwischen der öffentlichen Verfügbarkeit eines neuen Modells (GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro, Llama 4 Maverick) und der Unterstützung in der Plattform? Tage, Wochen oder „nächstes Quartal“ sind sehr unterschiedliche Antworten. Fragen Sie direkt danach.
  • Beschreiben Sie die Funktion des intelligenten Routings im Detail. Welche Routing-Kriterien werden unterstützt (Kosten, Latenz, Funktionsumfang, benutzerdefinierte Regeln)? Können Routing-Regeln pro Team, Anwendung oder Anwendungsfall konfiguriert werden, ohne den Anwendungscode zu ändern? Können Routing-Regeln kaskadieren (zuerst Modell A versuchen; wenn die Kosten einen Schwellenwert überschreiten, Modell B versuchen; wenn Modell B fehlschlägt, Modell C versuchen)?

Wie eine reale Routing-Regel in der Konfiguration aussieht:

Die Anwendung sendet eine standardmäßige OpenAI-kompatible Anfrage. Das Gateway wählt den Provider basierend auf der Regel aus, fällt im Fehlerfall in der Kaskade zurück, fügt die Budgetreferenz zur Kostenzuordnung an und wendet Guardrails inline an. Es sind keine Änderungen am Anwendungscode erforderlich, wenn die Route neu konfiguriert wird. Wenn die „intelligente Routenführung“ eines Anbieters für jede Variante Änderungen auf Anwendungsebene erfordert, handelt es sich nicht um Routing auf Gateway-Ebene. Es ist ein Wrapper.

  • Wie werden Token-Budgets und Rate Limits durchgesetzt? Werden sie gleichzeitig auf Benutzer-, Team-, Anwendungs- und Modellebene angewendet? Können Budgets als Soft (Benachrichtigung) oder Hard (Blockierung) konfiguriert werden? Welche Antwort erhält die Anwendung, wenn ein Hard Budget überschritten wird? Eine saubere 429 mit strukturierten Fehler-Metadaten ist die richtige Antwort. Ein 500 oder ein stillschweigendes Drosseln sind es nicht.
  • Liefert das Gateway native Streaming-Antworten (Server-Sent Events, OpenAI-kompatible Chunked Responses) zurück, ohne die vollständige Antwort zu puffern? Viele „Gateway“-Produkte unterbrechen das Streaming stillschweigend, da sie zur Überprüfung puffern. Bestätigen Sie Streaming mit Latenz auf Token-Ebene unter Last, nicht nur ein Feature-Kontrollkästchen.
  • Beschreiben Sie die Architektur zur Durchsetzung von Guardrails und Richtlinien. Werden Guardrails vor dem Aufruf (Blockierung, bevor das Modell die Eingabe sieht), inline (während des Aufrufs) oder nach dem Aufruf (nachdem die Antwort generiert wurde) angewendet? Können Guardrails Nur-Validieren (Blockierung bei Richtlinienverstoß) oder Mutieren (Umschreiben oder Redigieren) sein? Können benutzerdefinierte Guardrails vom Kunden unter Verwendung eines dokumentierten SDK oder einer Vorlage entwickelt werden, und wo liegt die Support-Grenze?
  • Unterstützt die Plattform semantisches Caching mit konfigurierbaren Ähnlichkeitsschwellenwerten, eingegrenzt pro Benutzer oder pro virtuellem Konto? Cache-Treffer sollten zu null Modellkosten führen. Welches Embedding-Modell wird für das Ähnlichkeits-Scoring verwendet, und ist es vom Kunden konfigurierbar oder vom Anbieter vorgegeben?
  • Werden Prompts, Prompt-Vorlagen und System-Nachrichten als versionierte, verwaltete Assets in der Plattform getrennt vom Anwendungscode verwaltet? Können Prompt-Versionen in der Produktion A/B-getestet werden, ohne Anwendungen neu bereitzustellen? Prompt-as-Config ist der Unterschied zwischen der Iteration an einem Modellverhalten in Minuten gegenüber Wochen.
  • Beschreiben Sie die MCP-Unterstützung der Plattform auf der AI Gateway-Ebene. Ruft das Gateway insbesondere MCP-Tool-Aufrufe auf, wenn die Antwort eines Agenten Tool-Nutzungs-Marker enthält, protokolliert es den Aufruf mit vollständigem Kontext und gibt das Tool-Ergebnis zurück in die Modellkonversation ein, ohne dass die Anwendung die Tool-Aufruf-Schleife implementiert? Dies ist die Teilmenge der MCP-Governance, die am direktesten mit dem AI Gateway verbunden ist. Abschnitt 4 behandelt das MCP Gateway speziell.
  • Wie wird das Gateway auf produktionsgerechten Durchsatz getestet? Geben Sie Latenz-Overhead-Zahlen (nur Gateway, ohne Modelllatenz) bei anhaltenden Durchsatzniveaus an, die für den Unternehmenseinsatz relevant sind: 100 RPS, 500 RPS, 2.000 RPS. „Unter 10 ms“ ist eine Floskel. P99-Zahlen unter anhaltender Last sind das tatsächliche Signal.
Figure 4. Routing cascade flow: budget check, pre-call guardrails, primary model attempt, fallback chain, and a unified response path with audit, cost, and cache.

Abbildung 4. Ablauf der Routing-Kaskade: Budgetprüfung, Pre-Call-Guardrails, primärer Modellversuch, Fallback-Kette und ein einheitlicher Antwortpfad mit Audit, Kosten und Cache.

Abschnitt 4: MCP Gateway und Agentic AI Governance (9 Fragen)

In diesem Abschnitt werden die meisten AI Gateway-Produkte an ihre Grenzen stoßen, da die meisten von ihnen für die Ära der LLM-Aufrufe entwickelt wurden und vor dem Zeitpunkt entstanden sind, als MCP in realen Unternehmensumgebungen auftauchte. MCP ist nicht „mehr Observability für Tool-Aufrufe“. Es ist eine separate Governance-Ebene: ein Register genehmigter Server, ein Durchsetzungspunkt dafür, welche Tools jede Rolle aufrufen kann, Audit-Logs, die den LLM-Aufruf-Logs in der Feldabdeckung entsprechen, und eine Policy Engine, die zum Aufrufzeitpunkt ausgeführt wird und nicht als Nachbereitungsexperiment. Anbieter, die nicht über diese Ebene verfügen, werden versuchen, die Fragen in Abschnitt 4 mit Beschreibungen der LLM-Observability zu beantworten. Achten Sie auf diese Ersetzung. Je direkter die Antwort, desto realer ist die Funktion.

Das zu erwartende Muster: Ein starker AI Gateway-Anbieter wird das MCP Gateway als separate Produktoberfläche mit eigenem Register, eigener RBAC-Zuordnung, eigenem Audit-Log-Schema und eigener Richtliniensprache beschreiben. Ein schwächerer Anbieter wird es als „erweiterte Observability“ über seinen bestehenden LLM-Observability-Stack beschreiben, was der Hinweis darauf ist, dass die Governance spärlich ist. Bewerten Sie Abschnitt 4 speziell; fassen Sie ihn nicht mit Abschnitt 3 zusammen.

Lesen Sie jede Antwort auf direkte Durchsetzungssprache hin.

  • Bietet die Plattform ein MCP Gateway zur Steuerung des Zugriffs auf MCP-Server durch AI-Agenten und Entwickler-Tools? Handelt es sich hierbei heute um eine Produktionsfunktion oder um einen Roadmap-Punkt? Wenn in Produktion, geben Sie eine Kundenreferenz und das Datum an, an dem die Funktion GA ging.
  • Kann die Plattform einen zentralen Katalog genehmigter MCP-Server mit einem Prüf- und Genehmigungs-Workflow führen? Wer steuert die Katalogeinträge, wie sieht der Überprüfungsprozess für das Hinzufügen eines neuen MCP-Servers aus, und kann der Katalog automatisch an Entwickler-IDE-Konfigurationen (Cursor, Claude Code, Continue, andere) verteilt werden, anstatt dass jeder Entwickler seine eigenen Verbindungen einrichtet?
  • Wie werden MCP-Server in Entwicklerumgebungen verteilt? Erfolgt die Verteilung automatisiert über den Katalog oder konfiguriert jeder Entwickler Verbindungen manuell? Die manuelle Konfiguration erzeugt dasselbe Shadow-Tooling-Problem, das vor fünf Jahren den ursprünglichen SSO-Vorstoß angetrieben hat. Zentralisierung ist wichtig.
  • Setzt die Plattform SSO und RBAC für den MCP-Server-Zugriff durch, getrennt von den LLM-Zugriffsrichtlinien? Können Zugriffsrichtlinien auf Tool-Ebene auf Team- und Rollenebene konfiguriert werden? Werden diese zum Aufrufzeitpunkt durchgesetzt (das Gateway blockiert den Aufruf) oder nur im Nachhinein protokolliert (der Aufruf wird ausgeführt und erscheint morgen in einem Bericht)?
  • Werden MCP-Tool-Aufrufe mit Anruferidentität (Benutzer oder Agent), Tool-Name, übergebenen Parametern, empfangener Antwort und Richtlinienentscheidung protokolliert? Sind diese Logs strukturiert und abfragbar? Werden sie mit derselben Feldabdeckung wie LLM-Inferenz-Aufruf-Logs erstellt? Parität ist wichtig: Wenn Sie beantworten können, „wer diesen LLM aufgerufen hat“, aber nicht „wer dieses Tool aufgerufen hat“, hat Ihre Audit-Story eine Lücke. Es lohnt sich, dies frühzeitig zu markieren.
  • Kann die Plattform bestimmte MCP-Tool-Aufrufe basierend auf Richtlinienregeln zum Aufrufzeitpunkt blockieren, bevor der Tool-Aufruf den MCP-Server erreicht? Beschreiben Sie die Sprache der Richtlinienregeln. Können Richtlinien aktualisiert werden, ohne den MCP-Server selbst neu bereitzustellen? Der Richtlinienaktualisierungspfad bestimmt, wie schnell Sie auf eine neu entstehende Bedrohung reagieren können.

Beispiel einer Richtlinienregel, die einen Tool-Aufruf blockiert, bevor er den MCP-Server erreicht:

Aktualisierungen dieser Regel sollten innerhalb von Sekunden an das Gateway übertragen werden (Konfigurations-Push, kein Re-Deployment). Wenn die Antwort des Anbieters lautet: „Richtlinien werden vom MCP-Server selbst ausgewertet“, handelt es sich nicht um eine vom Gateway durchgesetzte Richtlinie. Es ist eine vom Server durchgesetzte Richtlinie, und Sie müssen die Richtlinienparität über jeden MCP-Server im Katalog hinweg aufrechterhalten. Ein anderes Problem.

  • Wie schützt die Plattform vor MCP-Tool-Beschreibungsgift (Description Poisoning), bei dem eine böswillige MCP-Serverbeschreibung Anweisungen einbettet, die das Verhalten des Agenten umleiten sollen? Welche Überprüfungs- oder Validierungsschritte finden statt, bevor ein neuer MCP-Server für den Katalog genehmigt wird, und sind Tool-Beschreibungen nach der Genehmigung unveränderlich oder werden sie bei jedem Aufruf erneut abgerufen?
  • Kann die Plattform eine einzelne Benutzeranfrage über mehrere LLM-Aufrufe, MCP-Tool-Aufrufe und Sub-Agenten-Aufrufe hinweg in eine korrelierte Transaktion zurückverfolgen? Beschreiben Sie den Mechanismus zur Weitergabe der Trace-ID (W3C trace context, benutzerdefinierte Header) und die Observability-Tools, in denen der korrelierte Trace erscheint. Ohne korreliertes Tracing ist das Debuggen eines mehrstufigen Agentenfehlers das Lesen isolierter Logzeilen und das Erraten der Reihenfolge.

Wie die W3C trace context-Weitergabe Ende-zu-Ende aussieht. Die Anwendung empfängt eine eingehende Anfrage und generiert oder leitet einen traceparent-Header gemäß W3C-Spezifikation weiter:

Das Gateway bewahrt die trace-id über jeden nachgelagerten Aufruf (LLM-Provider, MCP-Server, sekundärer Gateway-Hop) hinweg auf, indem es sie in ausgehende Header injiziert, und gibt jeden Aufruf als Span unter derselben trace-id aus. In Datadog, Grafana Tempo oder Jaeger ist das Ergebnis ein einziger Waterfall, der zeigt: Benutzeranfrage → LLM-Aufruf (claude-sonnet-4-6, 2,1s) → Tool-Aufruf (github.create_issue, 528ms) → LLM-Aufruf (Output-Formatter, 380ms) → Antwort. Ohne dies erscheint derselbe Ablauf als vier nicht zusammenhängende Einträge, und die Ursachenanalyse wird zur Ratenvermutung.

  • Wie wird die Kommunikation von Agent zu Agent gesteuert, wenn ein Agent die MCP-Tools eines anderen aufruft oder den Kontext mit einem anderen Agenten teilt? Gibt es Isolationsgrenzen, die eine Privilegieneskalation über Agenten hinweg verhindern? Ein Agent mit Zugriff auf ein schreibgeschütztes Tool, der an einen Agenten mit Schreibzugriff delegiert, ist die AI-Version des Confused Deputy, und die Minderung muss architekturell und nicht beratend sein. Leicht zu übersehen. Schwer nachzurüsten.
Figure 5. MCP Gateway architecture: one endpoint for developer tools and agents, with auth, registry, policy, and logging layers between clients and MCP servers.

Abbildung 5. MCP Gateway-Architektur: ein Endpunkt für Entwickler-Tools und Agenten mit Auth-, Register-, Richtlinien- und Protokollierungsebenen zwischen Clients und MCP-Servern.

‍

Abschnitt 5: Observability und Kostenkontrolle (7 Fragen)

Der Unterschied zwischen einer AI-Plattform, die gut überwacht, und einer, die gut beobachtet, zeigt sich in den Fragen, die Ihr Finanzteam am Monatsende stellt. Das Monitoring teilt Ihnen mit, dass die Rechnung um 40 Prozent gestiegen ist. Observability teilt Ihnen mit, dass der Chatbot des Marketingteams vor drei Wochen in einer Schleife bei einem Kontextfenster-Sonderfall hängengeblieben ist, dass 70 Prozent des Anstiegs auf eine einzige Anwendung zurückzuführen sind und dass die außer Kontrolle geratenen Anfragen eine spezifische Signatur haben, die Sie an ein günstigeres Modell leiten können. Die erste Antwort macht die Finanzabteilung wütend. Die zweite Antwort macht die Finanzabteilung zum Verbündeten.

Derselbe Unterschied zeigt sich beim Debuggen von Agenten. Das Monitoring teilt Ihnen mit, dass eine Agentenaufgabe fehlgeschlagen ist. Observability teilt Ihnen mit, welcher LLM-Aufruf eine fehlerhafte Antwort zurückgegeben hat, welcher nachgelagerte Tool-Aufruf infolgedessen abgelaufen ist und auf welche Benutzeranfrage der Fehler zurückzuführen ist. Ohne korreliertes Tracing über die LLM- und MCP-Ebenen hinweg (Abschnitt 4, Frage 8) ist jeder Agentenfehler eine forensische Übung. Die folgenden Fragen zwingen den Anbieter zu beschreiben, was tatsächlich pro Aufruf erfasst wird, wie es abfragbar ist und wie die Daten die Plattform verlassen, wenn Ihr Finanzsystem sie benötigt.

Spezifische Details sind hier wichtig.

  • Welche Observability-Daten werden für jeden LLM-Aufruf erfasst? Geben Sie die vollständige Liste der protokollierten Felder an, einschließlich: Modell, Provider, Token-Zahlen (Eingabe, Ausgabe, gecached), Kosten, Latenz (Zeit bis zum ersten Token, Gesamtzeit), Team- und Anwendungszuordnung, Anforderungs-ID und alle benutzerdefinierten Metadaten, die der Kunde anhängen kann. Fehlende Felder sind hier Lücken in Ihrer forensischen Fähigkeit.
  • Bietet die Plattform Echtzeit-Kostendashboards, aufgeschlüsselt nach Team, Anwendung, Modell und Zeitraum? Können diese Dashboards mit Teamleitern geteilt werden, ohne ihnen Zugriff auf die vollständige Plattform-Verwaltungsoberfläche zu gewähren? Schreibgeschützte Dashboards sind eine andere RBAC-Berechtigung als Admin-Zugriff; beides sollte möglich sein.
  • Können Kosten- und Budgetwarnungen bei mehreren Schwellenwerten konfiguriert werden (70 Prozent des Budgets löst eine Warnung aus, 100 Prozent löst eine Blockierung aus, 120 Prozent löst eine Eskalation aus)? Wer erhält die Warnungen und über welche Kanäle (E-Mail, Slack, PagerDuty, Webhook)? Alerting, das an einen einzelnen Posteingang geht, ist anfällig; Multi-Kanal-Routing ist der Unterschied zwischen „wir haben es erwischt“ und „wir haben es verpasst“. Ein großer Unterschied um 3 Uhr morgens.
  • Wie werden die Ausführungskosten von Agenten nachverfolgt, wenn eine einzelne Benutzeranfrage mehrere LLM-Aufrufe, Tool-Aufrufe und Sub-Agenten-Aufrufe generiert? Kann die Plattform die Gesamtkosten einer mehrstufigen Agentenaufgabe einer einzelnen auslösenden Anfrage und einem einzelnen Benutzer zuordnen? Ohne dies ist die Kostenzuordnung von Agenten unlösbar und Sie bleiben bei Summen auf Modellebene hängen, die sich auf nichts Relevantes abbilden lassen.

Was die Aufroll-Zuordnung liefern sollte. Für eine einzelne Agentenaufgabe, die von einem Benutzer initiiert wurde, sollte die Plattform eine abfragbare Zusammenfassung erstellen, die auf der trace_id aus dem in Abschnitt 4 besprochenen W3C trace context basiert:

Dies macht die „Kostenzuordnung für Agenten“ zu einem Signal von Finanzqualität und nicht zu einer technischen Kuriosität.

Figure 6. Trace waterfall view of a single agent task: LLM call, MCP tool call, and second LLM call, all under one trace_id with cost rolled up across spans.

Abbildung 6. Trace-Waterfall-Ansicht einer einzelnen Agentenaufgabe: LLM-Aufruf, MCP-Tool-Aufruf und zweiter LLM-Aufruf, alle unter einer trace_id mit über Spans hinweg zusammengefassten Kosten.

  • Unterstützt die Plattform den Export von Nutzungs- und Kostendaten an externe BI- oder Finanzsysteme zur Kostenzuweisung und Weiterverrechnung? Welche Exportformate und Integrationsmechanismen stehen zur Verfügung (S3-Drop, BigQuery-Sync, REST API, geplante CSV)? Wie häufig wird der Export aktualisiert?
  • Welche Alerting-Integrationen werden unterstützt und mit welchem Genauigkeitsgrad? Werden Warnungen über E-Mail-, Slack- oder Webhook-Ziele zugestellt, und kann das Webhook-Routing verschiedene Warnungstypen an verschiedene nachgelagerte Systeme leiten (Kostenwarnungen an die Finanzabteilung, Sicherheitswarnungen an Security Ops, Latenzwarnungen an den On-Call-Ingenieur)? Webhook ist die universelle Ausweichmöglichkeit; wenn die Plattform Webhooks mit benutzerdefinierter Payload-Form unterstützt, lässt sie sich in jedes Alerting-Backend integrieren, das der Kunde bereits betreibt.
  • Wie lange werden Observability- und Audit-Daten standardmäßig aufbewahrt, und ist die Aufbewahrung pro Datentyp konfigurierbar? Was passiert bei Ablauf der Aufbewahrungsfrist: automatische Löschung, Archivierung im Kalt-Speicher oder Wahlmöglichkeit des Kunden? Beschreiben Sie die Aufbewahrungskontrollen in Air-Gapped-Bereitstellungen, bei denen der Kunde seine eigene Log-Infrastruktur Ende-zu-Ende verwaltet.

Abschnitt 6: Enterprise-Integrationen, SLAs und Support (7 Fragen)

Die Kosten einer Integrationslücke sind bei der Beschaffung selten sichtbar. Sie tauchen nach sechs Monaten auf, wenn der Zugriff eines gekündigten Mitarbeiters 48 Stunden dauert, um widerrufen zu werden, weil SCIM nicht real ist, wenn ein P1-Ausfall um 2 Uhr morgens eine automatische Antwort „wir antworten während der Geschäftszeiten“ erhält, weil das SLA aspirativ ist, wenn eine Okta-Gruppenumbenennung Rollenzuweisungen unterbricht, weil die SSO-Integration der Plattform nie mit Gruppen-Lebenszyklusereignissen getestet wurde. Jedes davon stellt endliche Engineering-Kosten dar, aber sie summieren sich zu der betrieblichen Steuer, die Plattform-Teams dazu bringt, bei der Verlängerung im dritten Jahr leise von ansonsten fähigen Produkten zu migrieren.

Abschnitt 6 bringt die betrieblichen Realitäten an die Oberfläche. Zwei diagnostische Muster: Jede „Ja“-Antwort auf eine Frage zur Protokollunterstützung verdient eine Nachfolgefrage dazu, welche Kunden dieses Protokoll heute in der Produktion ausführen im Vergleich zu welchen Kunden die ersten sein werden, die es ausprobieren. Und jede SLA-Zusage ohne explizit angehängte Gutschriften sollte als Marketingziel behandelt werden. Vertragliche SLAs gehen mit Gutschriften einher, da Anbieter das Risiko ihres Verfehlens einkalkulieren; aspirative SLAs werden vom Marketing geschrieben und tun dies nicht.

Lassen Sie sich die Gutschriften schriftlich geben.

  • Welche Identitätsanbieter werden für Enterprise SSO unterstützt? Führen Sie explizit auf: Okta, Azure AD (Entra ID), PingFederate, ADFS, Google Workspace, generisches SAML 2.0, generisches OIDC. Ist die SSO-Integration in allen Bereitstellungsmodi (SaaS und On-Prem) oder nur in bestimmten Stufen verfügbar? Bonusfrage: Welche dieser Integrationen verfügen über kundenvalidierte Produktionsbereitstellungen gegenüber „wir unterstützen das Protokoll, Sie werden der Erste sein, der es ausprobiert“.

Standard-SAML-Attributzuordnung, die die Plattform akzeptieren sollte. Identity Provider senden anbieterspezifische Attributnamen (insbesondere ADFS gibt lange Ansprüche im URI-Stil aus), sodass Sie sie auf der Plattform auf einen kleinen Standardsatz zuordnen können sollten:

Standard-Claim Verwendet für Typische IdP-Quelle
sub Eindeutige Benutzer-ID nameidentifier, oid, userPrincipalName
email Benutzerzuordnung + Kontakt emailaddress, mail, preferred_username
groups RBAC-Rollenzuweisung groups, memberOf, Role
displayName UI-Anzeige, Lesbarkeit des Audit-Logs givenName + sn, displayName
department Compliance-Berichterstattung department (Entra ID), benutzerdefinierte Claims (ADFS)

‍

Wenn die Plattform nur ein festes Claim-Format verarbeiten kann, wird die Integration mit allem außer Okta/Azure AD schmerzhaft. Die obige Flexibilität ist ein einmaliger Konfigurationsaufwand; ohne sie wird jedes IdP-Onboarding zu einem individuellen Projekt.

  • Unterstützt die Plattform SCIM 2.0 für die automatisierte Bereitstellung und Aufhebung der Bereitstellung von Benutzern und Gruppen? Wenn ein Benutzer aus dem Identity Provider entfernt wird, wird sein Plattformzugriff automatisch widerrufen oder erfordert dies einen manuellen Deprovisionierungsschritt? Manuelle Deprovisionierung ist ein Compliance-Fund, der nur darauf wartet, zu passieren. Er taucht immer beim Audit auf.

Wie SCIM-Provisionierung auf der Leitung aussieht. Okta oder Azure AD senden ein POST an den SCIM-Endpunkt der Plattform, wenn ein Benutzer zur SSO-Anwendung hinzugefügt wird:

Wenn der Benutzer im IdP deprovisioniert wird, empfängt derselbe Endpunkt ein PATCH, das active auf false setzt, und die Plattform sollte den Zugriff des Benutzers umgehend widerrufen, anstatt erst beim nächsten Anmeldeversuch. Testen Sie dies im Proof-of-Concept: Deprovisionieren Sie einen Testbenutzer im IdP, versuchen Sie dann, ein noch gültiges Plattform-Token zu verwenden, und bestätigen Sie, dass der Deprovisionierungslebenszyklus Ende-zu-Ende funktioniert. Wenn die Plattform die Deprovisionierung erst bei der nächsten Benutzeranmeldung berücksichtigt, ist das eine Compliance-Lücke, die schriftlich festgehalten werden sollte.

Figure 7. Identity and RBAC flow: IdP feeds identity, the platform maps groups to teams and Virtual Accounts, with enforcement at AI Gateway, MCP Gateway, dashboard, and Agent Gateway.

Abbildung 7. Identitäts- und RBAC-Ablauf: Der IdP liefert die Identität, die Plattform ordnet Gruppen Teams und Virtual Accounts zu, mit Durchsetzung am AI Gateway, MCP Gateway, Dashboard und Agent Gateway.

  • Wie sieht das Enterprise-Support-SLA aus? Geben Sie Reaktionszeitverpflichtungen nach Schweregrad an: P1 (Produktionsausfall), P2 (erhebliche Beeinträchtigung), P3 (nicht kritisches Problem), P4 (Informationsanfrage). Handelt es sich um vertragliche Verpflichtungen mit Gutschriften oder um aspirative Ziele in einem Marketingdokument?

Enterprise-SLA-Stufen, die es sich zu unterzeichnen lohnt, als Basis:

Schweregrad Reaktionszeit Aktualisierungszyklus Lösungsziel Gutschrift bei Verfehlen
P1, Produktionsausfall 15 Min., 24/7 Alle 30 Min. 4 Stunden Ja, nach Dauer gestaffelt
P2, große Beeinträchtigung 1 Stunde, 24/7 Alle 2 Stunden 24 Stunden Ja
P3, nicht kritisch 1 Arbeitstag Täglich 5 Arbeitstage Nein
P4, RFI / How-to 2 Arbeitstage Wöchentlich Best Effort Nein

Achten Sie auf „Reaktionszeit“, die definiert ist als „eine automatische E-Mail, die den Eingang Ihres Tickets bestätigt“. Das ist keine Reaktion. Eine echte Reaktion ist ein Ingenieur, der sich mit dem Problem befasst. Und die Gutschriftsklausel ist der Test: Vertragliche SLAs beinhalten Gutschriften, Marketing-SLAs nicht.

  • Wie sieht das Enterprise-Onboarding und das laufende Supportmodells aus? Beschreiben Sie den unterstützten Bereitstellungsprozess, die bereitgestellten Dokumentationen und Playbooks für die Einrichtung von Control Plane und Compute Plane, das laufende Betreuungsmodell mit dem Lösungs-Team des Anbieters (Eskalationspfad, Benachrichtigungen zum Änderungsmanagement, regelmäßige Überprüfungen) und welche Elemente in den Lizenzgebühren enthalten sind im Vergleich zu separat zu beauftragenden Projekten. Onboarding-Lücken zeigen sich als Verzögerungen bei der Zeit bis zur Produktion. Fragen Sie vor der Unterzeichnung nach.
  • Wie erweiterbar ist die Plattform? Können Kunden benutzerdefinierte Guardrails, benutzerdefinierte Routing-Regeln oder benutzerdefinierte MCP-Server-Integrationen beisteuern, ohne von der Roadmap des Anbieters abzuhängen? Beschreiben Sie den Erweiterungsmechanismus (SDK, FastAPI-Vorlage, Plugin-Modell) und die Support-Grenze zwischen vom Anbieter bereitgestellten und vom Kunden erstellten Erweiterungen.
  • Beschreiben Sie den vertraglichen Datenlöschungsprozess, wenn ein Kunde den Vertrag kündigt. Wie sieht das SLA für die Datenlöschung aus und wird ein Löschzertifikat bereitgestellt? Beschreiben Sie für On-Prem-Bereitstellungen den Widerruf von Lizenzschlüsseln und den Prozess der Software-Außerbetriebnahme. Die Kündigung kehrt die Verhandlungsposition um. Verstehen Sie den Prozess, bevor Sie unterschreiben.
  • Welche Professional Services werden im Rahmen des Enterprise-Onboardings angeboten? Beschreiben Sie den Umfang der Einbindung des Plattform-Teams bei der Erstbereitstellung, der Integration in bestehende Identitäts- und Observability-Systeme, der Entwicklung benutzerdefinierter Integrationen und dem laufenden betrieblichen Support. Geben Sie an, ob diese in den Lizenzgebühren enthalten sind, als separate Projekte skizziert werden oder nur in Premium-Stufen verfügbar sind. Versteckte Servicekosten sind eine wiederkehrende Beschwerde bei der Verlängerung nach dem ersten Jahr.

Wie TrueFoundry die RFP-Evaluierung löst

Das Solutions-Team von TrueFoundry behandelt diese RFP als formelle Evaluierung, nicht als Vertriebsobjekt. Jede Frage erhält eine schriftliche Antwort mit Nachweisen: SOC 2 Type II-Berichte, BAA-Dokumentation für Healthcare-Bereitstellungen, Zusammenfassungen von Penetrationstests, Referenzarchitekturen, Beispiel-Audit-Logs, Kundenreferenzen. Das Ergebnis ist ein Dokument, das Ihre Sicherheits-, Beschaffungs- und Plattform-Teams nutzen, um eine Entscheidung zu treffen, ohne ein Discovery-Gespräch zu benötigen, um Lücken zu füllen.

Die Architektur hinter den Antworten entspricht direkt der Abschnittsstruktur dieser Vorlage, weshalb sich die meisten Fragen sauber auflösen lassen. Ein Überblick:

Das Bereitstellungsmodell ist Split-Plane. Die Control Plane ist das Orchestrierungsgehirn, das Konfiguration, RBAC und Dashboards hostet. Compute Planes verbinden sich über einen Agenten zurück und hosten die tatsächlichen Workloads, einschließlich AI Gateway, MCP Gateway und allen bereitgestellten Anwendungen oder selbst gehosteten Modellen. Compute Planes können in Cloud-Konten von Kunden (AWS, GCP, Azure) oder On-Prem Kubernetes ausgeführt werden, und mehrere Compute Planes lassen sich an eine Control Plane anschließen, um Multi-Environment-Betrieb unter einer einzigen Steuerungsoberfläche zu ermöglichen. Das AI Gateway kann in der Kundeninfrastruktur selbst gehostet werden (die Bereitstellungsoptionen sind separat dokumentiert), um Datenresidenz und Souveränitätskontrollen zu gewährleisten. Audit-Logs und Tracing-Daten werden über Gateway-Anforderungsprotokollierungs- und Tracing-Projekte gespeichert, wobei RBAC den Zugriff auf Traces und Logs steuert. Die Split-Plane-Architektur sorgt dafür, dass dieselbe Datenresidenzhaltung über SaaS-, Single-Cloud-, Multi-Cloud- und selbst gehostete Bereitstellungen hinweg verfügbar ist, anstatt jede als separates Produkt mit separaten Steuerungshaltungen zu behandeln.

Datensouveränität ist die Architektur, keine Marketingzeile.

Authentifizierung nutzt Enterprise-SSO über OIDC oder SAML 2.0 mit optionaler IdP-Token-Validierung direkt am AI Gateway für die API-Zugriffskontrolle. Gängige IdPs (Microsoft Entra ID, Okta, Keycloak, Google) werden unterstützt, wobei Identity-Claims und Gruppenmitgliedschaften vom IdP auf TrueFoundry-Teams abgebildet werden, um RBAC im großen Maßstab zu steuern. SCIM-Provisionierung wird bei allen SSO-Konfigurationen unterstützt – sowohl OIDC als auch SAML –, sodass die Deprovisionierung im IdP direkt übertragen wird, anstatt auf die nächste Benutzeranmeldung zu warten. RBAC arbeitet auf Tenant-Ebene (Admin-/Member-Rollen) plus benutzerdefinierten Rollen mit feingliedrigen Berechtigungen über Benutzer, Teams, Cluster, Workspaces, Deployments, AI Gateway Provider-Accounts, MCP-Server und Tracing-Projekte hinweg. Nicht-menschliche Identitäten (Anwendungen, Agenten) erhalten Virtual Accounts mit Service-Account-ähnlichen Tokens, und die Autorisierung pro Anfrage an den AI Gateway-Grenzen (Modelle, Agenten, MCP-Server und Tools) unterstützt Least-Privilege-Muster. Provider-Keys lassen sich in kundenverwaltete Secret-Stores integrieren; die Gateway-Authentifizierung ist dem IdP übergelagert, anstatt ihn zu ersetzen, sodass MFA und Conditional Access weiterhin vom IdP des Kunden durchgesetzt werden.

Das AI Gateway routet über 1.000+ LLMs hinweg über einen einzigen OpenAI-kompatiblen Endpunkt: OpenAI, Anthropic (direkt und über AWS Bedrock), Azure OpenAI, GCP Vertex AI, Groq, Mistral und selbstgehostete Modelle, die über vLLM, TGI oder Triton bereitgestellt werden. Das Routing wird über Virtual Models konfiguriert, die eine einzige Modellschnittstelle bereitstellen und Load Balancing oder Failover über mehrere zugrundeliegende Provider und Modelle hinweg durchführen. TrueFailover legt ein ausfall- und degradationsbewusstes Routing darüber, mit integrierter Multi-Regionen- und Multi-Cloud-Resilienz. Strikte Token- und Anfragelimits pro Benutzer, Team oder Virtual Account geben eine strukturierte Ablehnung zurück, wenn ein Team sein Budget erreicht, anstatt nur eine weiche Warnung auszugeben, während die Anfrage trotzdem durchgeht. Das Provider-Fallback erfolgt automatisch, und die Latenzverzögerung wird als separate Metrik für den Aufruf erfasst, anstatt in der Gesamtlatenz unterzugehen. Semantisches Caching nutzt Embeddings und Cosine-Similarity mit konfigurierbarem Schwellenwert und TTL; die Dokumentation nennt bis zu ~20-fache Latenzverbesserungen für wiederholte oder ähnliche Anfragen. Guardrails sind regelbasiert (Ziel nach Modell, Benutzer oder Metadaten), jede kann validieren (blockieren) oder mutieren (umschreiben/anonymisieren), und Bring-Your-Own-Guardrail wird über einen benutzerdefinierten Guardrail-Server unter Verwendung einer FastAPI-Vorlage unterstützt.

Routing ist hier das Produkt, nicht ein Konfigurations-Flag.

Der MCP- und Agenten-Stack ist der entscheidende Differenzierungsfaktor. TrueFoundry betreibt ein natives MCP Gateway und eine MCP Registry, die MCP-Server und Tools zentral registrieren, entdecken und über gesteuerte Zugriffskontrollen und Enterprise-Auth-Flows sicher verbinden. Moderne MCP-Transporte wie Streamable HTTP für Proxy-Verbindungen werden unterstützt, und die Protokollebene nutzt Standard-JSON-RPC-Messaging gemäß der MCP-Spezifikation. Die Authentifizierung ist vielschichtig: Gateway-Authentifizierung, Zugriffskontrolle auf MCP-Server sowie Server- oder Tool-spezifische Auth (einschließlich OAuth-basierter Muster, die für Enterprise-MCP-Server dokumentiert sind). Zentrale Konfiguration bedeutet, dass Entwickler-Tools mit einem einzigen Gateway-Endpunkt kommunizieren, anstatt dass jeder Entwickler seine eigenen MCP-Verbindungen einrichtet – genau das Shadow-Tooling-Muster, das die Registry verhindern soll. Der Agent Hub bietet organisatorische Katalogisierung und Orchestrierung für komplexe sowie bereits bestehende Agenten, und das Agent Gateway stellt die Enterprise-Governance-Ebene (sicherer Tool-Zugriff, Observability, Kostenkontrolle) für den Betrieb dieser Agenten in der Produktion bereit. Dieselbe Identität, die den LLM-Zugriff steuert, steuert auch den Tool-Zugriff, sodass die Autorisierung für beides in einer einzigen IdP-Konfiguration liegt. Und derselbe Trace-Kontext, der eine mehrstufige LLM-Agenten-Aufgabe zusammenhält, verknüpft auch die darunter liegenden MCP-Aufrufe – was eine prozessbezogene Kostenzuordnung und End-to-End-Debugging von der Theorie in die Praxis umsetzt.

Observability nutzt Gateway-Request-Logging mit Traces. Token-Anzahlen, Kosten, Latenz (TTFT und Gesamt), Guardrail-Entscheidungen, Policy-Entscheidungen sowie Team- und Anwendungszuordnungen werden pro Aufruf erfasst, als Traces gespeichert und über Tracing-Projekte mit eigenem RBAC zugänglich gemacht. Der Telemetrie-Export basiert auf Standards: OpenTelemetry-Datenexport sowie Log- und Trace-Export an externe Systeme wie Grafana, Datadog und Prometheus, sodass Kunden ihre bestehenden Observability-Stacks einbinden können, anstatt ein proprietäres System erlernen zu müssen. Kostendashboards arbeiten in Echtzeit und können über Lese-RBAC für Teamleiter freigegeben werden. Derselbe Logging-/Trace-Speicher erstellt zudem den auditierbaren Datensatz von Prompt-Injection-Versuchen, Policy-Treffern und Missbrauchsmustern, den Kunden für das zukünftige Guardrail-Tuning analysieren können.

Ihr bestehender Observability-Stack bleibt Ihr bestehender Observability-Stack.

Der Nachweis der Leistungsfähigkeit hinter alldem: 10 Milliarden verarbeitete Anfragen pro Monat über die gesamte Kundenbasis hinweg, 1.000+ von der Plattform verwaltete Kubernetes-Cluster, Gateway-seitiger Overhead unter 10ms p95 (TTFT) und 350+ dauerhafte RPS auf einem einzelnen vCPU. Zu den Kunden im Produktionsbetrieb gehören Resmed, Siemens Healthineers, Automation Anywhere, Zscaler und Nvidia. Die Series A wurde im Februar 2025 von Intel Capital angeführt, womit sich die Gesamtfinanzierung auf rund 21 Millionen US-Dollar beläuft, unter Beteiligung von Peak XV Partners (Surge), Eniac Ventures und Jump Capital.

Produktionsmaßstab, kein Pilotmaßstab.

Figure 8. TrueFoundry end-to-end reference architecture: control plane, compute plane (with AI Gateway, MCP Gateway, Agent Gateway and Customer Apps), customer IdP, and observability targets.

Abbildung 8. TrueFoundry End-to-End-Referenzarchitektur: Control Plane, Compute Plane (mit AI Gateway, MCP Gateway, Agent Gateway und Kunden-Apps), Kunden-IdP und Observability-Ziele.

Möchten Sie TrueFoundrys schriftliche Antworten auf alle 50 RFP-Fragen erhalten?

  • Unser Solutions-Team stellt im Rahmen jeder formalen Enterprise-Evaluierung eine ausgefüllte RFP-Antwort mit Nachweisen zur Verfügung. Buchen Sie ein Gespräch, um den Prozess zu starten.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Melde dich an
Inhaltsverzeichniss

Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur

Buchen Sie eine 30-minütige Fahrt mit unserem KI-Experte

Eine Demo buchen

Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren

Demo buchen
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Entdecke mehr

Keine Artikel gefunden.
Comparing AI agents and agentic AI workloads in enterprise production
November 20, 2026
|
Lesedauer: 5 Minuten

KI-Agenten vs. Agentische KI: Was der Unterschied in der Produktion wirklich bedeutet

Keine Artikel gefunden.
November 20, 2026
|
Lesedauer: 5 Minuten

Bifrost-Alternativen: Die besten Tools, die Sie 2026 in Betracht ziehen können

Keine Artikel gefunden.
November 20, 2026
|
Lesedauer: 5 Minuten

GPT-6.1 Terra: API, Benchmarks, Preise & Nutzung

Keine Artikel gefunden.
November 20, 2026
|
Lesedauer: 5 Minuten

GPT-5.1 vs GPT-5: 9 wichtige Verbesserungen, die Sie kennen müssen

LLMs und GenAI
Keine Artikel gefunden.

Aktuelle Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Machen Sie eine kurze Produkttour
Produkttour starten
Produkttour