Schatten-KI wird zu einem Unternehmensrisiko: Was Führungskräfte jetzt tun müssen

Die schnelle Demokratisierung der generativen KI hat zu einer ungewollten Krise für die IT- und Sicherheitsteams von Unternehmen geführt. Mitarbeiter in den Bereichen Technik, Marketing und Produkt verwenden zunehmend nicht zugelassene KI-Tools, um Code zu schreiben, Daten zu analysieren und Dokumente zu entwerfen.

Dieses Verhalten steigert zwar kurzfristig die Produktivität, birgt jedoch ein ernstes Risiko für Schatten-KI, einschließlich Datenlecks, Compliance-Problemen und ungeahnter Kosten. In vielen Unternehmen ist dieses Problem auf die Preisgestaltung und die Starrheit sanktionierter KI-Plattformen für Unternehmen zurückzuführen. Wenn zugelassene Tools teuer sind, nur langsam bereitgestellt werden oder deren Umfang begrenzt ist, umgehen die Teams sie.

In diesem Leitfaden wird erklärt, warum sich Schatten-KI ausbreitet, wie die Plattformökonomie sie verschlechtert und was Führungskräfte jetzt tun müssen, um die Kontrolle zurückzugewinnen, ohne die Innovation zu verlangsamen.

Was ist Schatten-KI und warum verbreitet sie sich in Unternehmen

„Schatten-KI“ ist definiert als „eine Organisation verwendet ein KI-Tool, ein Modell oder eine API, aber sie hat es nicht von ihren IT- oder Sicherheitsteams genehmigt“. Ein Techniker möchte auf eine Kundensupport-Frage antworten, indem er ein Protokoll des Kundensupports in einen Chatbot wie ChatGPT einfügt. Ein Finanzanalyst möchte ein Large Language Model verwenden, um einen Finanzbericht aus einer Tabelle automatisch zusammenzufassen. Ein Produktentwicklungsteam möchte eine Model-API eines Drittanbieters verwenden, um seine Versandfunktion zu verbessern, indem es seine persönliche Kreditkarte in Rechnung stellt. All dies sind Beispiele für „Schatten-KI“.

Das Konzept von „Shadow AI“ ist verwandt mit „Shadow IT“. „Schatten-IT“ ist ein seit langem bestehendes Problem in Unternehmen. Bei diesem Problem verwenden Benutzer in jeder Organisation Software ohne Genehmigung ihrer IT-Abteilung. Dieses Problem bezieht sich auf „SaaS-Anwendungen“. Dieses Problem unterscheidet sich jedoch von „Shadow AI“. In „Shadow IT“ verwenden wir „SaaS-Anwendungen“. Wir stehen vor einem anderen Problem.

In „Shadow AI“ stehen wir vor einem Problem, bei dem Modelle sensible Daten nicht nur speichern, sondern auch verarbeiten. Sie generieren Ergebnisse auf der Grundlage dieser Daten. Sie speichern auch firmeneigene Informationen. Dieses Problem ist schwerwiegender als „Shadow IT“.

Der Grund für dieses Problem liegt jedoch nicht in Fahrlässigkeit, sondern darin, dass wir uns in einem rasanten Tempo bewegen. Der Beschaffungsprozess für die Anschaffung eines KI-Tools ist langwierig. Es nimmt viel Zeit in Anspruch, sich innerhalb eines Unternehmens ein solches zu sichern. Die Modelle entwickeln sich jedoch rasant und werden wöchentlich ausgeliefert.

Das Problem liegt jedoch in der Tatsache, dass wir unter dem Druck stehen, Funktionen bereitzustellen, die auf KI-Plattformen basieren. Wir dürfen nicht ein oder zwei Monate warten, um das Tool zu beschaffen; wir verwenden alles, was wir bekommen können. Wir verwenden alles, was am einfachsten ist. Deshalb sind wir den Risiken der Schatten-KI ausgesetzt.

Schatten-IT gegen Schatten-KI: Warum das Risiko höher ist

Shadow IT ist den IT- und Sicherheitsteams von Unternehmen seit mehr als einem Jahrzehnt ein vertrauter Dorn im Auge. Betrachtet man Schatten-KI jedoch nur als eine weitere Variante dieses Themas, wird deutlich unterschätzt, wie sehr sich die Dinge geändert haben.

Systeme mit künstlicher Intelligenz leben von Informationen und interagieren mit der Welt auf eine Weise, die ein schlecht funktionierendes Projektmanagement-Tool einfach nicht tut.

In der folgenden Tabelle werden einige der wichtigsten Unterschiede zwischen diesen beiden Konzepten hervorgehoben.

Der Übergang von festen SaaS-Anwendungskosten zu Token-basierten Verbraucherpreisen verdient besondere Aufmerksamkeit. Ein Team kann in einem einzigen Sprint Zehntausende von Dollar an API-Kosten anfallen. Ohne ein Gateway oder Zugriffskontrollen erfährt jemand zum ersten Mal davon, wenn die Rechnung eintrifft.

Die wahren Geschäftsrisiken von Schatten-KI

Der Übergang von Fixkosten zur tokenbasierten Nutzung birgt Datensicherheitsrisiken, die grundsätzlich schwer vorhersehbar sind. Ein Team, das umfangreiche Inferenzabfragen wie Dokumentenverarbeitung, Zusammenfassung und Workflows für KI-Agenten durchführt, kann Kosten verursachen, die um viele Größenordnungen höher sind als bei einem normalen SaaS-Abonnement. Diese sind erst sichtbar, wenn die Cloud-Rechnung eintrifft.

Datenschutz und Gefährdung geistigen Eigentums

Wenn ein Mitarbeiter diese Aufforderungen ohne Sicherheitskontrollen an öffentliche LLMs sendet, lagert er im Wesentlichen einige der sensibelsten Informationen des Unternehmens aus. Codebasen, Finanzmodelle, Patienteninformationen, Kundendaten, firmeneigener Code usw. stehen für einen ehrlichen Mitarbeiter, der dies schnell erledigen muss, zur Verfügung.

Die Datensicherheitsrisiken einer Offenlegung können zwei Formen annehmen, von denen eine die offensichtlichere ist: was der LLM-Anbieter mit den sensiblen Daten macht, die er erhält. Was sie mit dieser Aufforderung machen — egal, ob sie sie für das Modeltraining verwenden, sie anderen Benutzern zugänglich machen oder ob sie von Sicherheitslücken betroffen sind usw.

Die andere ist jedoch noch heimtückischer: die, die sich auf Datenschutz und Souveränität bezieht. Im Gesundheitswesen, im Finanzwesen, in der Regierung usw. gelten also Vorschriften wie HIPAA, SOC 2 und GDPR. Was sie wirklich sagen, ist, dass das Unternehmen sich darüber im Klaren sein sollte, wohin personenbezogene Daten gehen und wem diese identifizierbaren Informationen ausgesetzt sind.

Wenn also ein Arzt Patienteninformationen an einen nicht autorisierten LLM sendet oder wenn ein Banker Finanzinformationen an einen Verbraucher-Chatbot sendet, ist das im Wesentlichen ein direkter regulatorischer Verstoß und eine Verletzung der Datenschutzverpflichtungen.

Innovaccer ist natürlich ein Beispiel für die legitime Version dieser Bedenken in enormem Umfang: Sie bearbeiten rund 17 Millionen Inferenzanfragen pro Monat auf ihrer Gesundheitsplattform, was Dutzende von Anwendungen, zig Millionen von Benutzern usw. bedeutet. Ohne eine zentrale Kontrollebene mit integrierter PII-Redaktion und Datenmanagement wäre dies also aus regulatorischer Sicht unhaltbar gewesen. Das Schatten-KI-Risiko im Gesundheitswesen ist nicht hypothetisch; es wartet nur darauf, dass es eintritt.

Unverfolgte und unkontrollierte KI-Ausgaben

Die Tatsache, dass die Kosten für KI-Tool-Dienste, die auf Tokens basieren, variieren, macht sie grundsätzlich nicht erkennbar, wenn die KI-Nutzung ungesteuert läuft. Ein Team, das ein hohes Volumen an Inferenzabfragen wie Dokumentenverarbeitung, Zusammenfassung und KI-Agenten-Workflows durchführt, kann Kosten haben, die um viele Größenordnungen höher sind als die normalen SaaS-Kosten, und niemand ist sich dessen überhaupt bewusst, bis es seine Rechnung von seinem Cloud-Anbieter erhält.

Diese Situation gerät schnell außer Kontrolle, wenn viele Teams ihre eigenen API-Schlüssel, Modellabonnements und Nutzungsmuster isoliert voneinander verwenden. Es gibt kein allgemeines Verständnis der Kosten der Nutzung von KI-Diensten für das gesamte Unternehmen. Es gibt keine Möglichkeit, die Kosten für bestimmte Produkte oder Geschäftsbereiche zu verstehen. Es gibt keine Möglichkeit, die Kosten zu begrenzen, bis sie außer Kontrolle geraten. Stattdessen muss das Finanzteam versuchen, die Situation forensisch zu analysieren.

Genau dafür sorgt ein zentrales KI-Gateway. Sowohl Innovaccer als auch Aviva lösten dieses Problem, indem sie den gesamten LLM-Verkehr über das TrueFoundry AI Gateway leiteten, um die Tokens und Kosten nach Team, Benutzer, Umgebung und Modell zu verfolgen. Sie waren in der Lage, Kostensteigerungen pro Service in nur wenigen Minuten zu verstehen und nachzuverfolgen. Dies ist etwas, das einfach nicht existiert, wenn jedes Team seine eigene fragmentierte API-Integration ausführt. Ohne eine zentrale Kontrollebene sind die Kosten der Schatten-KI im Grunde unsichtbar, bis sie zu einem Problem werden.

Blinde Flecken in den Bereichen Compliance und Audit

Das bedeutet, dass die Compliance-Systeme die Teilnahme nicht belohnen; sie belohnen Ergebnisse, und da der Einsatz von KI auf nicht genehmigte Systeme verteilt ist, ist es unmöglich, Ergebnisse zu erzielen. Es gibt keine zentral gesammelten Protokolle darüber, welche Modelle verwendet wurden, welche Unternehmensdaten an sie weitergegeben wurden und was als Aufforderung gesendet wurde.

Es gibt keinen Prüfpfad, den der Compliance-Beauftragte an die Aufsichtsbehörde weitergeben kann. Ist das ein Problem, mit dem einige Organisationen irgendwann in der Zukunft konfrontiert sein könnten? Absolut nicht. Für jedes Unternehmen, das einem SOC 2-Audit, einem DSGVO-Audit oder einem HIPAA-Audit unterzogen wird, ist dies kein zukünftiges Problem, sondern das aktuelle Problem.

SOC 2 verlangt den Nachweis von Datenverwaltungs- und Verarbeitungskontrollen, die DSGVO verlangt den Nachweis, dass Sie wissen, wohin Ihre sensiblen Daten fließen, und die Möglichkeit, sie bei Bedarf zu löschen, und HIPAA verlangt Prüfprotokolle aller Systeme, die Patientendaten betreffen.

• Die Verwendung von Schatten-KI verstößt gegen alle, nicht absichtlich, sondern aufgrund der Natur der verwendeten Systeme. Das Endergebnis ist, dass ein Audit, eine Untersuchung, monatelange, nicht genehmigte KI-Nutzung aufdecken kann. Zu diesem Zeitpunkt geht es nicht mehr darum, warum gegen die Richtlinie verstoßen wurde, sondern darum, warum überhaupt keine Kontrollen eingeführt wurden. Für Innovaccer wurde die Entscheidung, die gesamte KI-Nutzung der Generation über ein zentrales Gateway zu leiten, nie getroffen. Dies war immer eine Anforderung ihrer Umgebung, die von der Notwendigkeit diktiert wurde, in einer Welt mit HIPAA- und PHI-lastigen klinischen Workflows zu arbeiten.

Das Preisparadoxon: Wie KI-Plattformen für Unternehmen Schatten-KI fördern

Das Problem mit den meisten KI-Strategien für Unternehmen ist eine eher unbequeme Ironie: Die Plattformen, die für die Verwaltung der KI-Nutzung konzipiert sind, sind so kostspielig, fragmentiert und betriebsbereit, dass sie Unternehmen möglicherweise dazu ermutigen, sich den illegalen Plattformen zuzuwenden. Schatten-KI ist nicht immer das Ergebnis einer verantwortungslosen Nutzung; sie kann sogar eine logische Antwort auf die Herausforderungen sein, die legitime Plattformen mit sich bringen.

Die Unternehmensführung steht hinter der Preisgestaltung für Unternehmen

Die wichtigsten Funktionen sind Single Sign-On, rollenbasierte Zugriffskontrollen, detaillierte Audit-Trails und Kostenzuweisung nach Teams. Dies sind die Funktionen, die in der Regel der teuersten Preisstufe aller gängigen KI-Systeme vorbehalten sind. Die Kosten für den Zugang zu einer konformen Infrastruktur für ein Team, das ein neues Modell ausprobiert oder ein einfaches Tool entwickelt, stehen in keinem Verhältnis zu dem, was es erreichen will.

Die Lösung für das Problem der Organisation liegt auf der Hand. Die IT-Abteilung lizenziert die Enterprise-Stufe einfach für eine Handvoll Benutzer, um die Kosten angemessen zu halten. Die übrigen Leute warten in einer Warteschlange oder finden einen anderen Weg, um reinzukommen. Die zweite Gruppe von Menschen hört nicht auf, was sie tun. Sie hören einfach auf, es auf eine Weise zu tun, die den Regierungsgrenzen wichtig ist.

Die Kostenkontrollen, die zur Lösung des Problems eingeführt werden, sind diejenigen, die das Problem verursachen.

Fragmentierte Werkzeuge erhöhen die Reibung

Doch selbst wenn sie in der Lage sind, diese genehmigte KI-Infrastruktur zu nutzen, stellen sie schnell fest, dass sie nicht nur ein Produkt verwenden; sie verwenden ein Produkt für das API-Gateway, ein anderes für Observability, ein anderes für die Modellbereitstellung und ein weiteres für das Prompt-Management. Infolgedessen müssen sie mehrere Integrationen verwalten und mehrere Zugriffsflüsse verwalten, und die Mühe, mit dem offiziellen Stack zu arbeiten, ist den Vorteil des Aufrufs der API einfach nicht wert.

Die Fragmentierung des offiziellen Stacks führt nicht nur zu einem Governance-Problem, sondern auch zu einem TCO-Problem, sodass es unmöglich ist, die Technologie im gesamten Unternehmen einzusetzen. Wenn Sie für die Nutzung der Technologie mehrere Anbieter und mehrere Verträge benötigen, ist die naheliegende Antwort, den Zugriff darauf zu beschränken. Das führt natürlich zu einem weiteren Konzentrationsproblem, denn jetzt kann ein kleiner Prozentsatz der Bevölkerung die Technologie über den offiziellen Stack nutzen, während der Rest gezwungen ist, unverwaltete Alternativen zu verwenden.

Die Notwendigkeit einer Plattform wie TrueFoundry, die AI-Gateway, Beobachtbarkeit, Modellbereitstellung und zeitnahes Management auf einer einzigen Kontrollebene bietet, ist nicht nur ein Argument für die Unternehmensführung, sondern auch ein Argument für die Gesamtbetriebskosten. Tatsache ist, dass anerkannte KI-Technologie nicht im gesamten Unternehmen skaliert werden kann, sofern sie nicht zugänglich ist.

Markups berechnen schrecken vor Experimenten ab

Bei verwalteten KI-Services wiederum fällt ein erheblicher Aufschlag auf die Rechenkosten an. Zum Beispiel hat AWS SageMaker einen effektiven Aufschlag von 25% auf die Instance-Kosten. Dies ist ein erheblicher Unterschied, insbesondere wenn der Entwickler eine hohe GPU-Arbeitslast oder eine umfangreiche Inferenz verwendet. Für Entwickler, die wissen, wie sich diese Kosten letztlich auswirken, ist dies eine ständige Quelle der Frustration.

Was wir hier sehen, ist ein Muster, das in der Welt der Shadow IT sehr vertraut ist. Was wir haben, ist, dass Entwickler ihre eigene Infrastruktur effektiv selbst bereitstellen, indem sie ihre eigenen API-Schlüssel verwenden oder billigere, nicht verwaltete Dienste nutzen, um den Kostenaufwand zu vermeiden, der durch die Nutzung einer offiziellen Plattform entsteht. Jetzt versuchen sie nicht, aus irgendeinem Regierungsmodell auszusteigen. Sie versuchen nur, etwas zu erreichen, ohne ein willkürliches Budget auszugeben. Was wir tun müssen, ist Plattformen bereitzustellen, die diese Infrastruktureinsparungen an die Entwickler weitergeben. Was TrueFoundry tut und Kubernetes und Instanzen anstelle eines verwalteten Dienstes verwendet, wurde speziell entwickelt, um diese Anreize für Entwickler zu beseitigen, die offizielle Plattform zu umgehen.

Warum herkömmliche Steuerungen die Schatten-KI nicht aufhalten

Es mag zwar vernünftig sein, das Risiko von Schatten-KI durch verschiedene Sicherheitskontrollen zu mindern, aber in dieser Hinsicht schneidet sie durchweg schlechter ab. Die Tools und Techniken, die zur rationalen Verwaltung der Schatten-IT eingesetzt wurden, haben sich bei der Bekämpfung der Schatten-KI nicht als wirksam erwiesen. Die Steuerung der Schatten-KI ist nicht möglich; sie ist dadurch nur weniger auffindbar.

Sicherheitskontrollen auf Netzwerkebene wurden in einer Welt entwickelt, in der die Schatten-IT durch einen Mitarbeiter repräsentiert wurde, der eine nicht autorisierte Anwendung ausführte oder auf eine bestimmte Domain zugriff. Shadow AI funktioniert auf diese Weise nicht. Der API-Aufruf von OpenAI, Anthropic oder Google ist nur ein verschlüsselter HTTPS-Aufruf über das Netzwerk, genau wie jeder Aufruf einer externen Website. Die aktuellen DLP-Tools und Netzwerkmonitore können nicht zwischen einem Mitarbeiter, der auf ein Produktionsmodell zugreift, und einem Mitarbeiter, der seinen eigenen API-Schlüssel verwendet, unterscheiden, da sie in Art und Aussehen identisch sind. Bis es in den Netzwerkprotokollen als Anomalie auftaucht, ist es bereits zu spät.

Das Verbot von KI-Tools im gesamten Unternehmen führt jedoch zu einem anderen Problem. Der Mitarbeiter kann die KI-Tools bei der Arbeit nicht mehr verwenden, also nimmt er sie mit nach Hause und verwendet sie auf seinen persönlichen Geräten mit seinen persönlichen API-Schlüsseln in seinem Heimnetzwerk. Die Mitarbeiter sind jetzt von einem Problem, das verwaltet und kontrolliert werden kann, zu einem Problem übergegangen, das nicht verwaltet oder kontrolliert werden kann.

Studien haben immer wieder gezeigt, dass das Fehlen von Optionen, selbst bei restriktiven Sicherheitsrichtlinien, eher zu einem Verhalten führt, das nicht zur Umgehung von Problemen führt. Mitarbeiter, die unter dem Wettbewerbsdruck stehen, ihre Arbeit mit Tools für künstliche Intelligenz abzuwickeln, werden sich nicht freiwillig einem Produktivitätsnachteil aussetzen. Die Mitarbeiter werden einen Weg finden, um alle Hindernisse zu umgehen, die ihnen das Unternehmen in den Weg stellt.

Die Antwort auf das Risiko von Schatten-KI besteht nicht in mehr Kontrollen, sondern darin, den kontrollierten Pfad einfacher zu machen als den unkontrollierten Pfad. Wenn der kontrollierte Pfad schnell betreten und verwendet werden kann, ohne dass die Kosten für das Experimentieren erhöht werden, entfällt die Notwendigkeit, die Kontrollen zu umgehen.

Wie Unternehmen die Nutzung von Schatten-KI erkennen können

Die Erkennung muss vor der Behebung erfolgen. Die meisten Unternehmen unterschätzen das Ausmaß der nicht genehmigten KI-Nutzung in ihren Netzwerken erheblich, da sie schwer zu erkennen sind. Der erste Schritt ist kein politisches Dokument, sondern die Verbesserung der Sichtbarkeit.

Der erste Schritt zur Entwicklung dieser Sichtbarkeit besteht darin, den ausgehenden Verkehr zu bekannten öffentlichen Endpunkten für KI-Tooldienste zu überwachen. OpenAI, Anthropic, Google, Mistral und Cohere gehören zu den Unternehmen, die bekannte Domains und IP-Adressen für ihre API-Dienste verwenden. Bei den meisten Unternehmen können Netzwerk- und Sicherheitsteams den ausgehenden Datenverkehr überwachen, um den Datenverkehr zu diesen bekannten Endpunkten innerhalb des Unternehmens zu erkennen. Ungewöhnliches Volumen, ungewöhnliche Zeiten und Verkehr aus ungewöhnlichen Quellen sind allesamt Anzeichen dafür. Natürlich ist das noch lange nicht vollständig, da Benutzer außerhalb des Heimnetzwerks auf dieser Ebene nicht überwacht werden können. Es ist jedoch eine einfache Methode, um den Netzwerkverkehr mit dem größten Sicherheitsrisiko zu erkennen.

Die Erkennung nicht genehmigter API-Schlüssel und Abonnements erfordert eine Überprüfung der Finanz- und Zugangsdaten. Beispielsweise kann eine Überprüfung der Cloud-Ausgaben darauf hindeuten, dass die Nutzung von KI-Tools nicht offiziell budgetiert wurde. In ähnlicher Weise kann eine Überprüfung der Quellcode-Repositorys auf fest codierte API-Schlüssel hinweisen, eine leider weit verbreitete Praxis, die Sicherheitslücken und Lieferkettenrisiken mit sich bringt.

Die Verknüpfung der KI-Nutzung mit Teams und Anwendungen trägt jedoch dazu bei, die Rechenschaftslücke zu schließen, die durch die bloße Untersuchung der reinen Verkehrsströme entstanden ist. Es ist nicht sehr hilfreich zu wissen, ob Ihr Netzwerk einen Endpunkt für ein LLM verwendet. Es wäre viel nützlicher zu wissen, welches Team oder welche Anwendung ihn verwendet. Hier ist das Tagging oder das Zuweisen von Metadaten zu API-Aufrufen erforderlich, um dies zu erreichen. Genau dabei kann ein zentralisiertes KI-Gateway einer Organisation helfen. Genau das ermöglicht das TrueFoundry Gateway einem Unternehmen: Taggen Sie ihren gesamten Datenverkehr mit Benutzer-, Team- und Umgebungsmetadaten und filtern Sie dann ihre Protokoll- und Metrikdaten nach diesen Tags, um in Echtzeit ein vollständiges Bild von allem zu erhalten.

Die Verwendung eines zentralisierten KI-Gateways zur Aufdeckung versteckter KI-Anwendungen ist jedoch die skalierbarste Erkennungslösung und behebt gleichzeitig dieses Problem. Wenn die gesamte genehmigte KI-Nutzung über ein Gateway erfolgt, muss alles, was nicht in den Protokolldaten dieses Gateways selbst enthalten ist, unbedingt als nicht genehmigte Nutzung betrachtet werden. Dadurch wird das Problem von einem reaktionsbasierten forensischen Problem zu einem Definitionsproblem. Der Unterschied zwischen der genehmigten Nutzung, die sich in den Protokolldaten eines zentralisierten KI-Gateways widerspiegelt, und der gesamten KI-Nutzung ist ein Maß für das Risiko, dem Schatten-KI ausgesetzt ist.

Unternehmen wie Innovaccer und Aviva haben ihren blinden Fleck in der Schatten-KI vollständig beseitigt, indem sie ein zentralisiertes KI-Gateway wie das AI Gateway von TrueFoundry verwendet haben, um ihre gesamte LLM-Nutzung weiterzuleiten. Nicht weil sie es irgendwie geschafft haben, alles andere zu verhindern, sondern weil sie ihren genehmigten Nutzungspfad so umfassend gestaltet haben, dass er nun ihre gesamte legitime Nutzung umfasst.

So reduzieren Sie das Risiko von Schatten-KI, ohne Teams zu verlangsamen

Das Ziel besteht nicht darin, die Nutzung von KI-Tools zu erschweren. Stattdessen wollen wir dafür sorgen, dass „gesteuert“ nicht von „einfach“ zu unterscheiden ist. Jeder zusätzliche Verwaltungsschritt, der die Nutzung von KI rechtmäßig erschwert, treibt uns in Richtung Schatten-KI. Die Risikoreduzierung durch Schatten-KI ist ebenso ein Problem des Produkterlebnisses wie ein Datensicherheitsproblem.

Machen Sie KI über ein einziges Gateway zugänglich. Das Wichtigste, was ein Unternehmen tun muss, ist sicherzustellen, dass es einen einzigen „zugelassenen“ Einstiegspunkt gibt, über den alle Modelle von KI-Tools, die es tatsächlich verwenden möchte, zugänglich sind. Das AI Gateway von TrueFoundry bietet eine einzige API, über die Entwickler in einer Organisation auf mehr als 250 LLMs zugreifen können: OpenAI, Claude, Gemini, Groq, Mistral, selbst gehostetes LLam usw., alles über eine einzige API, die mit OpenAI kompatibel ist. Es spricht die Sprache, die Entwickler bereits verwenden. Somit ist die Reibung zwischen der Verwendung eines einzelnen API-Schlüssels und der Verwendung der offiziellen Plattform nahezu Null.

Sorgen Sie dafür, dass die Governance automatisch auf Plattformebene erfolgt. Governance-Kontrollen sind am wichtigsten. PII-Maskierung, Anforderungsprotokollierung, Zugriffskontrollen und Kontingentkontrollen müssen transparent auf der Infrastrukturebene erfolgen, ohne dass ein Entwickler sie implementieren muss. TrueFoundry erledigt dies automatisch auf Gateway-Ebene. Jede Anfrage wird protokolliert, sensible Daten werden vor dem Verlassen des Unternehmensnetzwerks maskiert, und Kontingentgrenzen oder Token-Budgets werden auf der Grundlage der Team- oder Dienstidentität durchgesetzt. Diese klaren Richtlinien werden durchgesetzt, ohne dass es den Entwicklern zu Problemen kommt.

Sorgen Sie dafür, dass sanktionierte KI in großem Maßstab wirtschaftlich rentabel ist. Die Teams werden die offizielle Plattform nicht nutzen, wenn klar ist, dass der Einsatz von Shadow AI teurer ist. Die Tatsache, dass die Architektur von TrueFoundry Kubernetes und Cloud-Instanzen verwendet, anstatt eine verwaltete Servicekomponente hinzuzufügen, bedeutet, dass diese Kosten weitergegeben werden, anstatt selbst Plattformkosten hinzuzufügen. Die Tatsache, dass sie eine fraktionierte GPU-Nutzung und Spot-Instances unterstützt, trägt maßgeblich zur Senkung der Inferenzkosten bei. Das Aviva-Team und Innovaccer waren der Ansicht, dass dies in großem Maßstab wirtschaftlich machbar ist. Aus diesem Grund handelt es sich um einen genehmigten Weg und nicht um ein Mandat.

Bieten Sie Teams Self-Service-Optionen an. Der größte Motivator für den Einsatz von Shadow AI ist Geschwindigkeit, und das einzige Heilmittel gegen Geschwindigkeit ist mehr Geschwindigkeit, die TrueFoundry und der sanktionierte Pfad bieten. Die Tatsache, dass es Self-Service-Optionen bietet, ist wichtig, da ML- und KI-Techniker ihre Modelle bereitstellen, neue virtuelle Schlüssel einrichten und Ausweichoptionen und neue Anwendungen implementieren können, ohne darauf warten zu müssen, dass ihre jeweiligen Infrastruktur- und IT-Teams sie genehmigen. Das Aviva-Team ging davon aus, dass die neuen Techniker innerhalb der ersten Woche ein Modell bereitstellen oder aktualisieren würden. Dies ist ein gutes Maß dafür, was mit einer Plattform möglich ist, die tatsächlich Self-Service bietet.

In den Genehmigungs- und Bereitstellungswarteschlangen verliert die Einführung von sanktionierter KI derzeit an Schatten-KI, und genau dort muss sie an Boden gewinnen, um sie wieder zu einer praktikablen Option zu machen.

Wie eliminiert TrueFoundry Schatten-KI ohne Unternehmens-Markup?

Die meisten KI-Plattformen der Enterprise-Klasse erfordern einen Kompromiss. Sie können die Governance oder die Geschwindigkeit der Entwickler wählen, aber nicht beides zu skalierbaren Kosten. TrueFoundry basiert jedoch auf einem anderen Prinzip. Dieses Prinzip besagt, dass dies keine grundlegende Wahrheit ist, sondern nur eine Produktbeschränkung. Unsere Architektur ist so konzipiert, dass der Pfad der Steuerung auch der Weg zu den geringsten Kosten, maximaler Geschwindigkeit und maximaler Kapazität ist — die einzige Möglichkeit, Schatten-KI zu eliminieren, anstatt sie nur weiter in den Untergrund zu treiben.

Einheitlicher Zugriff innerhalb Ihrer eigenen VPC

TrueFoundry hostet Ihr AI-Gateway und Ihre Model-Serving-Infrastruktur direkt in Ihrem AWS-, GCP- oder Azure-Konto, nicht als SaaS-Vermittler zwischen Ihren Anwendungen und Ihrer Cloud. Das ist ein grundlegender Unterschied in der Architektur. Wenn wir in Ihrer VPC hosten, bleibt jeder Inferenzaufruf, jede Aufforderung, jede Antwort Ihrer Modelle in Ihrer Umgebung. Diese sensiblen Daten werden niemals durch ein Drittanbietersystem, niemals durch Ihre gemeinsam genutzte Infrastruktur und niemals über Ihre Verwaltungsgrenzen hinaus übertragen.

Dies ist ein erheblicher Vorteil für stark regulierte Branchen. Wenn Sie beispielsweise eine Gesundheitsorganisation sind und mit PHI-Daten zu tun haben, oder wenn Sie ein Finanzdienstleistungsunternehmen sind und mit Kundendaten zu tun haben, oder wenn Sie ein staatlicher Auftragnehmer sind und bei GovCloud tätig sind, können Sie TrueFoundry mit der gleichen Sicherheit verwenden, die Sie für jede andere Anwendung in Ihrer Cloud verwenden, da wir uns in Ihrer Cloud befinden. Das ist ein grundlegender Unterschied in der Architektur. Aus diesem Grund befindet sich Innovaccer beispielsweise in unserer AWS GovCloud-Umgebung. Sie nutzen uns für ihre Standard-Workloads und für HIPAA-konforme Workloads mit vielen PHI, nur weil diese Daten niemals ihre Cloud verlassen.

Dies löst auch das Hauptproblem des Datenlecks, das im Mittelpunkt dessen steht, was Shadow AI von Anfang an versucht. Wenn wir mit der sanktionierten Plattform beginnen, besteht kein Datenschutzproblem darin, sie zu umgehen.

Kostenkontrolle ohne Plattformsteuer

TrueFoundry bietet RBAC, Kostenkontrollen, Token-basierte Kontingente und Beobachtbarkeit als Standardfunktionen der Plattform. Dies sind keine Funktionen, für deren Implementierung ein professioneller Service erforderlich ist. Wir unterstützen Ratenbegrenzungen, die pro Benutzer, pro Dienst und pro Endpunkt konfiguriert werden. Wir unterstützen Tokens und Kostenbudgets, die pro Team konfiguriert werden, mit festen Grenzwerten, die verhindern, dass zu hohe Ausgaben getätigt werden, anstatt sie einfach im Nachhinein zu erkennen.

Mit Shadow AI ist es wichtig, dieses Problem anzugehen, da Kostenkontrollen einer der Hauptbereiche sind, die häufig geopfert werden, um den Plattformzugriff zu kontrollieren und die Kosten zu kontrollieren. Der Kreislauf, in dem der Zugriff begrenzt wird, um die Kosten zu begrenzen, um den Zugang zu begrenzen, um die Kosten zu begrenzen usw., um schließlich zu der Lösung von Shadow AI zu gelangen, mit der diese Kontrollen umgangen werden können, um die eigentliche Arbeit zu erledigen, wird unterbrochen, wenn wir einfach eine Plattform bereitstellen können, die kostengünstig genug ist, um sie breit und detailliert genug zu nutzen, um Kostenkontrollen auf Teamebene zu ermöglichen. Ich kann jedem Entwicklungsteam sein eigenes Budget, sein eigenes Kontingent und seine eigene Zugriffsebene zur Verfügung stellen, ohne dass es zu Problemen bei der Kostenkontrolle kommt.

Zentralisierte Sichtbarkeit und Audit-Trails

Das AI Gateway von TrueFoundry bietet eine zentrale Oberfläche für alle Eingabeaufforderungen, Token-Anzahlen, Modellinteraktionen, Latenzen und Fehlerereignisse im gesamten Unternehmen. Die Protokolle sind vollständig und exportierbar, einschließlich Metadaten auf Benutzer-, Team-, Umgebungs- und Modellebene. Protokolle können direkt in jede Observability-Pipeline integriert werden. Grafana wird beispielsweise von Innovaccer verwendet, um die OpenTelemetry-Metriken von TrueFoundry in der Produktion anzuzeigen.

Dadurch wird jeder blinde Fleck in den Datensicherheitsanforderungen des Unternehmens behoben. Wenn der Auditor beispielsweise nach den Datenzugriffskontrollen für ein SOC 2-Audit fragt oder wenn für die Prüfung eines HIPAA-Compliance-Prozesses ein Audit-Trail der Systeme erforderlich ist, die mit PHI in Berührung gekommen sind, liegt die Antwort in den AI Gateway-Protokollen. Es besteht keine Notwendigkeit, irgendetwas zu erklären oder zu begründen oder eine forensische Analyse durchzuführen, um herauszufinden, warum die Aufzeichnungen nicht existieren.

Entwickler stärken statt sie zu blockieren

TrueFoundry bietet eine einzige API, die über OpenAI verwendet werden kann. Auf diese Weise kann es jedes öffentliche oder private Modell aufrufen, das eine Organisation mit über 250 öffentlichen Anbietern eingerichtet hat und deren eigene Modelle auf ihrer Bereitstellungsplattform laufen. Die Erfahrung eines Entwicklers, der die TrueFoundry-API verwendet, um GPT-4o aufzurufen, ist identisch mit dem direkten Aufruf. Die Verwaltung der Anmeldeinformationen, die Protokollierung, die Kostenverwaltung und die Fallbacks werden alle hinter den Kulissen auf der Infrastrukturebene abgewickelt.

Der Gesamteffekt ist, dass der Entwickler die Plattform nicht umgehen muss oder will. Der Entwickler kann über eine Schnittstelle, an die er gewöhnt ist, auf alle Modelle zugreifen, auf die er zugreifen möchte. Die von TrueFoundry angebotene Bereitstellungsplattform ermöglicht auch ein Self-Service-Modell. Auf diese Weise können Entwickler ihre Plattform verwenden, um neue Dienste zu erstellen, Modelle automatisch zu skalieren und zu aktualisieren, ohne die Hilfe eines Plattformteams zu benötigen. Aufgrund des Self-Service-Modells und der Benutzerfreundlichkeit der TrueFoundry-Plattform wird die Umgehung der Plattform im Vergleich zur Nutzung der genehmigten Plattform immer eine weniger bevorzugte Option sein. Dies ist die einzige Art der Shadow-KI-Governance.

Fazit: Kontrollieren Sie die Schatten-KI durch Aktivierung

Shadow AI ist letztlich das Produkt einer Werkzeuglücke. Wenn der Zugriff auf den genehmigten Pfad für den KI-Stack des Unternehmens zu langsam, die Skalierung zu kostspielig oder zu fragmentiert ist, werden die Teams einen Weg finden, etwas anderes außerhalb des Systems zu verwenden, und wir haben keinen Einblick in oder Kontrolle über diese Nutzung mehr. Der Kauf restriktiverer Governance-Tools oder Beschaffungspraktiken löst dieses Problem nicht. Sie verschärfen das Problem lediglich, indem sie die Nutzung des sanktionierten Pfades noch schwieriger machen.

Wir müssen den sanktionierten Pfad besser machen als den Schattenpfad. Wir müssen dafür sorgen, dass es leichter zugänglich, kostengünstiger skalierbar, benutzerfreundlicher und umfassender ist, was die Modelle und Anwendungsfälle angeht, die Teams möglicherweise verwenden möchten. Wenn wir uns in dieser Situation befinden, kämpfen wir nicht gegen Schatten-KI; wir müssen uns einfach nicht dagegen wehren, weil unsere Lösung besser ist als die Alternative.

TrueFoundry wurde von Grund auf entwickelt, um dieses Problem zu lösen. Wir bieten Governance auf Unternehmensebene in Ihrer eigenen Cloud, ohne Aufschlag pro Token, ohne Funktionen, die hinter teuren Editionen stecken, und ohne eine Benutzererfahrung, die Teams in ein Ticketsystem zwingt.

Vereinbaren Sie eine Demo, um zu erfahren, wie TrueFoundry Ihrem Unternehmen helfen kann, eine einheitliche, konforme Kontrollebene für die gesamte KI-Nutzung zu erreichen, ohne Ihre Teams auszubremsen.

Häufig gestellte Fragen

Was sind die Risiken von Shadow AI?

Zu den Hauptrisiken der Schatten-KI gehören Datenlecks vertraulicher Informationen, die versehentliche Offenlegung von Unternehmensdaten durch Aufforderungen, Compliance-Probleme, mangelnde Sichtbarkeit der KI-Nutzung, unvorhergesehene Kosten und fragmentierte Datenverwaltungsprozesse. TrueFoundry begegnet diesen Risikofaktoren für Schatten-KI, indem es einen sicheren, kontrollierten Zugang zu KI-Toolsystemen bietet.

Wie geht man mit Schatten-KI-Risiken um?

Unternehmen müssen eine autorisierte Unternehmensplattform bereitstellen, die Mitarbeiter bevorzugen, um die Risiken der Schatten-KI zu mindern. Durch den Einsatz eines zentralen Gateways wird sichergestellt, dass alle Modellinteraktionen innerhalb der Private-Cloud-Umgebung sicher bleiben. TrueFoundry unterhält strenge Zugriffskontrollen und verfolgt den Token-Verbrauch, ohne die Produktivität Ihres gesamten Entwicklungsteams zu beeinträchtigen.

Wie erkennt man Schatten-KI-Risiken?

Die Erkennung von Schatten-KI-Risiken beginnt mit der Überwachung des ausgehenden Netzwerkverkehrs zu bekannten öffentlichen Modellendpunkten. Sicherheitsteams müssen die Cloud-Ausgaben und die Quellcode-Repositorys auf fest codierte API-Anmeldeinformationen überprüfen. Durch die Weiterleitung des gesamten sanktionierten Datenverkehrs durch das TrueFoundry-Gateway wird jegliche externe Nutzung als unzulässiger Verstoß gegen die Sicherheitsrichtlinien des Unternehmens entlarvt.

Wie gehen wir mit dem Risiko um, das mit Shadow AI verbunden ist?

Anstatt den Zugang zu KI-Systemen einzuschränken, müssen Unternehmen einen sicheren Zugang gewährleisten. Sicherer Zugriff bedeutet, autorisierte KI-Schnittstellen bereitzustellen, Zugriffskontrollen bereitzustellen und Datenschutzmechanismen bereitzustellen. Indem Unternehmen sicheren Zugriff erhalten, werden Mitarbeiter keine unbefugten KI-Systeme verwenden. Die Infrastruktur von True Foundry kann Unternehmen dabei helfen, einen sicheren Zugang zu gewährleisten und gleichzeitig den Mitarbeitern die Möglichkeit zu geben, KI-Systeme zu erkunden.

Wie gehen wir mit dem Risiko um, das mit Shadow AI verbunden ist?

Damit Unternehmen jedoch dem mit Shadow AI verbundenen Risiko begegnen können, müssen sie zunächst einen Überblick über die Nutzung haben. Dies geschieht häufig durch die Überwachung der API-Nutzung, die Analyse von Nutzungsmustern und die Überprüfung ausgehender Daten. Wenn Sie einen einzigen Zugangspunkt für KI-Anwendungsfälle haben, ist es einfacher, die Nutzung zu verfolgen. Genau das kann TrueFoundry einer Organisation bieten.

Warum führen teure KI-Systeme für Unternehmen zu Shadow AI?

Wenn zertifizierte KI-Systeme für Unternehmen schwer zugänglich, kostspielig oder zeitaufwändig bereitzustellen sind, könnten sich Mitarbeiter an öffentliche KI-Systeme wenden, um die Erledigung von Aufgaben zu beschleunigen. Es besteht eine Diskrepanz zwischen dem, was empfohlen wird, und dem, was tatsächlich verwendet wird. Schatten-KI tritt auf, wenn das empfohlene KI-System nicht die erforderliche Geschwindigkeit und Flexibilität bietet. TrueFoundry füllt diese Lücke, indem es Zugriff auf KI-Systeme bietet, ohne den Prozess zusätzlich zu komplizieren.

Wie hilft ein KI-Gateway dabei, Schatten-KI zu verhindern?

Das Ziel eines AI-Gateways besteht darin, eine zentrale Ebene bereitzustellen, die den gesamten Zugriff auf KI-Systeme verwaltet. Mit anderen Worten, es ermöglicht einer Organisation, nachzuverfolgen, ob Richtlinien befolgt werden, welche KI-Systeme verwendet werden und ob Richtlinien durchgesetzt werden. Es trägt dazu bei, den Einsatz nicht genehmigter KI-Systeme zu minimieren, indem es Benutzern einen zertifizierten Zugang zu KI-Systemen bietet. Das AI Gateway von TrueFoundry ist eine zentrale Ebene, die den Zugriff auf KI-Systeme ermöglicht.