Upscale, ein von NVIDIA unterstütztes Start-up, entwickelt Software, mit der KI-Chips konkurrierender Anbieter im selben Rechenzentrum zusammenarbeiten können. Die technische Begründung ist einfach: Cloud-Anbieter entwickeln ihre eigenen Chips, spezialisierte Beschleuniger kommen auf den Markt, und NVIDIA-GPUs können nicht mehr als einzige Hardware in einem KI-Cluster vorausgesetzt werden. Die Koordination von Workloads über diese unterschiedlichen Komponenten hinweg ist schwierig, da die Stack-Lösungen der einzelnen Anbieter jeweils für den eigenständigen Betrieb konzipiert wurden.
Für Unternehmen, die Teams für KI-Infrastrukturen zusammenstellen, stellt die Koordinierungsebene die größte Herausforderung bei der Personalbeschaffung dar. Ein Kunde in Frankfurt, der eine hybride GPU-Umgebung aufbaut, bat uns um einen Mitarbeiter, der Workloads sowohl auf NVIDIA- als auch auf maßgeschneiderten TPU-ähnlichen Beschleunigern optimieren und gleichzeitig die MLOps-Pipeline stabil halten kann. Die Stelle blieb vier Monate lang unbesetzt. Bewerber mit fundierter NVIDIA-Erfahrung hatten Schwierigkeiten, Kenntnisse in alternativen Architekturen nachzuweisen. Bewerbern mit Cloud-nativem Hintergrund fehlten die Kenntnisse in der Low-Level-GPU-Programmierung.
Interoperabilitätssoftware wie die von Upscale könnte diese Komplexität zwar irgendwann teilweise abstrahieren, doch für diese Abstraktion braucht es nach wie vor jemanden, der versteht, was dahintersteckt. Unternehmen, die heterogene KI-Rechenumgebungen betreiben, zahlen bereits hohe Gehälter für Ingenieure, die zwischen den Ökosystemen verschiedener Anbieter wechseln können, ohne sich von Grund auf neu schulen zu müssen. Noch seltener ist das Profil einer Person, die tatsächlich Produktions-Workloads auf mehr als einem Beschleuniger-Typ bereitgestellt hat und die Kompromisse gleichzeitig gegenüber der Beschaffung und der Technikabteilung klar darlegen kann.
Die größte Herausforderung bei der Personalbeschaffung liegt darin, Mitarbeiter zu finden, die zwei oder drei Hardware-Paradigmen gleichzeitig im Kopf behalten und Planungsentscheidungen treffen können, die sich sowohl auf die Kosten als auch auf die Modellleistung auswirken. Da Unternehmen im DACH-Raum eine souveräne KI-Infrastruktur aufbauen und ihre Abhängigkeit von einzelnen Anbietern verringern, wird dieses Profil darüber entscheiden, wie schnell sie ihre Lösungen einsetzen können.
Angeregt durch Berichte von BigDATAwire.