Verwaltung von Umgebungsvariablen mit SecretsFoundry

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Ich habe bereits in meinem Beitrag hier über die verschiedenen Möglichkeiten zur Verwaltung von Umgebungsvariablen geschrieben. Um uns den Umgang mit Konfigurationen in unserem Startup bei Truefoundry zu erleichtern, haben wir ein kleines Tool namens SecretsFoundry entwickelt, das es allen Anwendungsteams wirklich sehr nahtlos ermöglicht, ihre Konfigurationen in Git zu pflegen. Wir dachten, dass es auch für andere Entwicklerteams nützlich sein könnte, und haben uns daher entschlossen, es als Open-Source zur Verfügung zu stellen.
Bevor ich auf die Details eingehe, ist es gut zu verstehen, welches Problem SecretsFoundry löst. Jede Anwendung verfügt über einige nicht-sensible und sensible Konfigurationsvariablen, die der Anwendung bereitgestellt werden müssen, wenn sie läuft. Für die nicht-sensiblen Variablen neigen Entwickler dazu, die Variablen in eine Datei zu schreiben und diese dann mit Bibliotheken wie dotenv in die Anwendung zu laden. Für sensible Variablen speichern Entwickler die Werte entweder in Secret Managern wie AWS SecretManager oder Hashicorp Vault und schreiben dann Anwendungscode, um die Secrets aus dem Speicher abzurufen. Der andere Ansatz besteht darin, dass ein externes System die Variablen aus dem SecretStore in die Anwendungsumgebung injiziert — in diesem Fall wird der Bereich der Umgebungsvariablen eher zu einer DevOps-Verantwortung und Entwickler verlieren die Kontrolle darüber —, was zu mehr Bugs und erschwertem Debugging führt, wenn Probleme auftreten.
SecretsFoundry versucht, die obigen Probleme wie folgt zu lösen:
Alle sensiblen und nicht-sensiblen Schlüssel können in einer einzigen Datei liegen.
Für nicht-sensible Variablen können Sie die Variablen direkt eintragen. Für sensible Variablen tragen wir den Pfad im SecretStore als Wert dieser Variablen ein. Auf diese Weise teilen wir SecretsFoundry mit, wie diese Werte abgerufen werden sollen. Ein Beispiel für eine solche Datei wäre:
.env file
NODE_ENV = development
HOST = localhost
DB_NAME = example_app_db
DB_USER = ${aws-secret:/development/example_app/DB_USER}
DB_PASSWORD = ${aws-secret:/development/example_app/DB_PASSWORD}
Im obigen Beispiel sind die tatsächlichen Werte für DB_USER und DB_PASSWORD in AWS Secrets Manager gespeichert. Entwickler können den Pfad in der .env-Datei angeben und SecretsFoundry ruft ihn für Sie ab.
Kein anwendungsspezifischer Code zum Abrufen von Umgebungsvariablen
SecretsFoundry funktioniert, indem es die tatsächlichen Werte vor dem Start in die Anwendungsumgebung injiziert, anstatt innerhalb der Anwendung. Dies hat zwei Vorteile:
- Keine Abhängigkeiten in der Anwendung und wir müssen keine Bibliotheken über die Vielzahl verschiedener Sprachen hinweg hinzufügen.
- Falls SecretsFoundry eine bestimmte Umgebungsvariable nicht finden kann, bricht SecretsFoundry selbst mit einem Fehler ab und liefert ein frühes Unhealthy-Signal an alle Deployment-Systeme wie Kubernetes. Andernfalls liegt es an der Anwendung, die Validierung durchzuführen und Fehler zu behandeln.
Unterstützung für mehrere Secret Manager
SecretsFoundry integriert mit AWS Parameter Store, AWS S3, AWS SecretsManager und Hashicorp Vault für das Secrets Management. Das Hinzufügen eines neuen SecretStores ist sehr einfach und wir planen, die Unterstützung für GCP und Azure Vault in Zukunft zu erweitern.
Nutzung von SecretsFoundry
Die Art und Weise, SecretsFoundry zu verwenden, ist:
secretsfoundry run -c "node start.js"
oder wenn Sie mehrere Befehle in Ihrem Start-Skript haben:
secretsfoundry run -s "node run_migration_script && node start.js"
Wenn wir secretsfoundry run ausführen, sucht es nach einer .env-Datei in diesem Verzeichnis und gibt die Werte der Variablen aus. Wenn ein -c oder -s Argument vorhanden ist, injiziert es diese in die Umgebung dieser Anwendung. Wenn man also die .env-Datei betrachtet, die wir zuvor geschrieben haben, gibt das Ausführen von secretsfoundry run in diesem Verzeichnis Folgendes aus:
secretsfoundry run
NODE_ENV = development
HOST = localhost
DB_NAME = example_app_db
DB_USER = admin
DB_PASSWORD = password
Wir können eine kleine Beispielanwendung in start.js haben, die etwa wie folgt aussieht:

secretsfoundry run -c “node start.js”

SecretsFoundry kann auch jede andere .env.<stage>-Datei laden mittels
secretsfoundry run — stage=<stage>
SecretsFoundry kann Konfigurationsdateien aus einem anderen Verzeichnis laden mittels
secretsfoundry run -p <Pfad zum Konfigurationsverzeichnis, das die .env-Dateien enthält.>
Es kann auch einen Eingabepfad zu einer Datei entgegennehmen, die im Format .env / JSON / YAML vorliegen kann, und die aufgelösten Variablen in eine andere Datei ausgeben. Wir nutzen dies für die Integration mit verschiedenen Kubernetes-Systemen, worüber ich in einem anderen Blogbeitrag schreiben werde.
secretsfoundry run -i <Eingabedatei mit Variablen (.env/json/yaml)> -o <output_file>
SecretsFoundry benötigt Anmeldedaten, um die Parameter aus dem SecretStore abzurufen — daher müssen Sie diese Variablen manuell in Ihrer Umgebung bereitstellen.
Installation und Dokumentation
Sie können SecretsFoundry über npm oder yarn herunterladen (https://www.npmjs.com/package/secretsfoundry)
npm install -g secretsfoundry
SecretsFoundry befindet sich in diesem GitHub-Repository und die Dokumentation ist unter https://truefoundry.gitbook.io/secretsfoundry zu finden.
Probieren Sie SecretsFoundry aus und teilen Sie uns Ihre Erfahrungen mit. Wir haben es intern sehr ausgiebig mit AWS Parameter Store genutzt — die Integration mit Hashicorp Vault wurde jedoch noch nicht umfassend getestet. Probieren Sie es aus und lassen Sie uns wissen, wenn Sie Bugs finden oder Funktionswünsche haben.
Ursprünglich veröffentlicht auf Medium
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.


















%20(28).webp)



.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






