Andrew Ngs Skill-Map für KI-Engineering: Worauf Enterprise-Teams setzen sollten

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Andrew Ngs Karte ist ein Kompetenzrahmen, keine Produktarchitektur. Dieser Artikel stellt eine spezifischere Frage für Unternehmen: Welche Mechanismen sollten Ingenieure verstehen und beherrschen, und welche wiederholbaren Primitiven für Laufzeit, Zugriff, Governance, Wiederverwendung und Nachweise kann eine Plattform standardisieren, ohne dieses Urteilsvermögen zu ersetzen?
Andrew Ngs vier übergeordnete Kompetenzen sind täuschend einfach:
- Entwicklung und Bereitstellung von KI-Anwendungen
- Grundlagen der Softwareentwicklung
- Einsatz von Coding-Agenten
- Gestaltung des Entwicklungsprozesses
Das entscheidende Signal ist das, was die Liste nicht zusammenfassen lässt. KI-Engineering lässt sich nicht auf Prompting reduzieren; Coding-Agenten machen Software-Grundlagen nicht überflüssig; Deployment ist Teil des Handwerks; und Produktbewertung steht gleichberechtigt neben der Implementierung. Die Karte betrachtet KI-Engineering daher als eine Kombination aus Systemarbeit, Softwareentwicklung, agentengestützter Entwicklung und Urteilsvermögen.
1. Eine Skill-Map ist keine Produkt-Checkliste
Der falsche Weg, Ngs Karte zu nutzen, wäre, vier Kästchen zu zeichnen und zu behaupten, eine Plattform würde jedes davon „lösen“. Kompetenzen sind menschliche Fähigkeiten. Produktbewertung, architektonisches Urteilsvermögen, Debugging-Fähigkeiten, Evaluierungsdesign und Kundenverständnis verschwinden nicht, nur weil ein Unternehmen Infrastruktur kauft.
Die nützlichere unternehmerische Übersetzung lautet: Standardisieren Sie die wiederholbaren Mechanismen, damit Ingenieure mehr von ihrem knappen Urteilsvermögen für die Teile aufwenden können, die tatsächlich eine Entscheidung erfordern.

2. Entwicklung und Bereitstellung von KI-Anwendungen: Hier ist die Plattform-Karte am stärksten
Ngs Follow-up vom 21. August unterteilt die Entwicklung und Bereitstellung von KI-Anwendungen in sechs Fähigkeiten: LLM-Grundlagen, Grounding von Modellen mit Daten, Aufbau agentischer Systeme, evaluierungsgetriebene Entwicklung, Betrieb in der Produktion und Grundlagen des maschinellen Lernens. Der wichtige Punkt ist, dass es sich hierbei um Engineering-Kompetenzen handelt, nicht um Anbieterkategorien. Eine Plattform kann Teile der Arbeit operationalisieren; sie kann jedoch nicht das Wissen darüber ersetzen, warum eine bestimmte Architektur, ein Modell, ein Evaluator oder eine Fehlerrichtlinie angemessen ist.
LLM-Grundlagen → AI Gateway kann den Zugriff standardisieren, nicht das Verständnis
Ingenieure müssen das Modellverhalten weiterhin verstehen: Kontextfenster, Caching, Wissensstichtage, Sampling, Reasoning-Aufwand, Tool-Aufrufe, Latenz, Kosten und anbieterspezifisches Verhalten. TrueFoundry AI Gateway kann standardisieren, wie auf gerouteten Modell-Traffic zugegriffen und dieser gesteuert wird – durch einheitliche APIs, Routing und Fallbacks, RBAC, Ratenbegrenzungen, Budgets, Guardrails und OpenTelemetry-kompatible Observability –, aber es entbindet nicht von der Notwendigkeit, diese Modell-Trade-offs zu verstehen.
Modell-Grounding mit Daten → gesteuerter Zugriff, kein „RAG aus der Dose“
Ng betrachtet Grounding als architektonisches Menü und nicht als Synonym für Vektorsuche: Ingenieure können zwischen Prompt-Kontext, Retrieval, Tool-Aufrufen, Vektorindizes, Wissensgraphen, semantischen Ebenen über strukturierten Daten oder Kombinationen daraus wählen. Es gibt keine universelle „Grounding → MCP Gateway“-Zuordnung. Wenn eine Anwendung Retrieval oder Datenzugriff über MCP-Tools bereitstellt, MCP Gateway kann diesen Zugriffspfad durch Discovery, Authentifizierung, Berechtigungen auf Tool-Ebene, nachgelagerte Anmeldedaten, Guardrails, Genehmigungen, Observability und Audits steuern. Wenn das Grounding direkt innerhalb der Anwendung oder über einen Vektorspeicher, Wissensgraphen oder eine semantische Ebene erfolgt, die nicht über MCP läuft, bleibt dieser Pfad außerhalb des MCP Gateways.
Aufbau agentischer Systeme → Architektur zuerst; TrueForge bildet den Harness/Runtime-Zweig ab
Ngs Erweiterung vom 21. August betrachtet agentische Systeme als architektonisches Spektrum und nicht als einzelne Framework-Entscheidung. An einem Ende kann eine Anwendung einen vergleichsweise expliziten Workflow von Modellaufrufen ausführen. Am offeneren Ende ermöglicht ein Agent-Harness dem Modell, wiederholt seinen nächsten Schritt zu wählen, während die umgebende Runtime Tools, Kontext, Ausführung, Sicherheitsgrenzen und Fortführung verwaltet. Dazwischen liegen hybride Systeme, die explizite Workflow-Strukturen mit agentischen Knoten kombinieren.
Das bedeutet, die grundlegende Fähigkeit ist architektonisches Urteilsvermögen: zu entscheiden, was deterministisch sein sollte, was an ein Modell delegiert werden kann, was parallel laufen darf, welche Tools das System aufrufen darf, wie Speicher und Kontext für lange Sitzungen funktionieren sollten, wann mehrere Agenten helfen und welche Fallbacks, Guardrails und Governance erforderlich sind.
TrueForge lässt sich stark auf den Harness/Runtime-Zweig dieses Designraums abbilden. Die Dokumentation definiert einen Open-Source-Agent-Harness, der die Modell/Tool-Schleife ausführt, eine Verbindung zu MCP-Servern herstellt, Kontext für lange Aufgaben verwaltet, isolierte Sandbox-Ausführungen als Tool behandelt, für menschliche Genehmigungen pausiert, Subagenten unterstützt und Sitzungen über Wiederverbindungen und Neustarts hinweg beibehält.
Die Zuordnung wird konkret im AgentSpec. Eine wiederverwendbare Agentendefinition kann das Modell und die Parameter, Anweisungen, MCP-Server und Tool-Filter, Genehmigungsrichtlinien, Skills, Sandbox-Verhalten, Kontextverwaltung, Antwortformat und Iterationslimits festlegen. Dies sind Laufzeitentscheidungen, die ein Entwickler bei der Implementierung einer Agent-Harness-Architektur treffen muss.

Bewertungsgesteuerte Entwicklung → strukturierte Nachweise, kein integrierter Evaluator
Ng betrachtet disziplinierte Bewertung und Fehleranalyse als eine Kernkompetenz des KI-Engineerings. Die Implikation für die Plattform ist nicht „einen Evaluator kaufen“. Sie bedeutet, dass Bewertungen verlässliche Nachweise darüber benötigen, was tatsächlich passiert ist: gespeicherte Prompts und Antworten, Modell-/Tool-Auswahl, Zwischenschritte, Fehler, Latenz, Kosten und der umgebende Aufgabenkontext.
TrueForge macht seine Laufzeitstruktur explizit durch ein Agent → Session → Turn → Event → Delta Modell. Die Dokumentation unterscheidet diese Objekte präzise:
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.png)

.png)
.webp)
.png)

.png)
.png)




.png)
.png)
.png)
.png)





