KI-Workloads in Kubernetes (101): Lessons Learned

Kubernetes ist der Marktstandard für den Betrieb containerisierter Workloads. Doch eignet sich Kubernetes auch für den Betrieb von (Generative, Predictive) KI-Workloads, etwa um Data Sovereignity zu erzielen? Welche Implikationen ergeben daraus bzw. passen KI-Workloads überhaupt in das ursprüngliche Konzept von Kubernetes? Wie sieht es mit Placement (Scheduling), Autoscaling, Loadbalancing und Security von KI-Workloads aus? Oder handelt es sich beim Betrieb von KI in Kubernetes um das klassische “Hammer-Nagel-Phänomen”? Diese Session basiert auf praktischen Erfahrungen aus mehreren Projekten, in denen KI-Workloads in Kubernetes betrieben werden. Die grundlegenden Probleme und die daraus resultierenden typischen Herausforderungen werden kurz vorgestellt: den Ressourcenbedarf von KI-Modellen, der Umgang mit Start- und Inferenzzeiten, die Wahl des passenden Load Balancings sowie die Etablierung der notwendigen Security und Observability. Mit diesem Basiswissen lässt sich die eigene Plattformentscheidung fundierter treffen und weiterführende Optimierungen für vorhandene KI-Workloads in Kubernetes lassen sich gezielter angehen.


JAX:
KI-Workloads in Kubernetes (101): Lessons Learned

Aktualisiert: