AWS gab bekannt, dass Aurora nun Daten abfragen kann, die in S3-basierten Data Lakes gespeichert sind, ohne diese zuvor in die Datenbank kopieren zu müssen. Die Funktion nutzt Apache-Iceberg-Tabellenformate und ermöglicht es transaktionalen Anwendungen, Daten nahezu in Echtzeit aus Analysespeichern abzurufen. Für Datenteams bedeutet dies ganz einfach: weniger nächtliche Batch-Jobs, weniger Probleme bei der Datenabstimmung und weniger Wartungsaufwand für die Infrastruktur.
Wir haben beobachtet, wie Unternehmen in der DACH-Region monatelang maßgeschneiderte ETL-Pipelines aufgebaut haben, um ihre Produktionsdatenbanken und Analyseebenen synchron zu halten. Ein Frankfurter Versicherungsunternehmen, mit dem wir zusammenarbeiten, beschäftigt drei Vollzeit-Ingenieure, die sich ausschließlich um die Wartung der Pipelines kümmern. Wenn um 2 Uhr morgens etwas kaputtgeht, ist der Bereitschaftsdienst extrem anstrengend. Tools, die diesen Aufwand reduzieren, entlasten diese Ingenieure und ermöglichen es ihnen, sich auf Aufgaben zu konzentrieren, die das Unternehmen tatsächlich voranbringen.
Die Auswirkungen auf die Personalbeschaffung ergeben sich direkt daraus. Unternehmen, die Zero-ETL-Muster einführen, werden weiterhin Dateningenieure benötigen, doch die Rolle dieser Fachkräfte verändert sich. Die Konfiguration und das Erstellen von Pipeline-Skripten verlieren an Bedeutung. Architektonisches Denken gewinnt an Bedeutung: Es geht darum zu entscheiden, welche Daten wo verbleiben, wie Zugriffsmuster optimiert werden sollten und wie Abfragen gesteuert werden, die sowohl transaktionale als auch analytische Bereiche umfassen. In immer mehr Stellenbeschreibungen werden nun Iceberg, Delta Lake oder Hudi neben Erfahrung mit herkömmlichen Datenbanken als erforderliche Fähigkeiten aufgeführt.
Für Bewerber vollzieht sich dieser Wandel schrittweise, ist aber im Auge zu behalten. Ingenieure, die ihre Karriere damit verbracht haben, Batch-Pipelines aufzubauen, werden feststellen, dass diese Fähigkeiten in den kommenden Jahren an Alleinstellungsmerkmalen verlieren könnten. Der Fokus verlagert sich zunehmend auf Fachkräfte, die Systeme entwerfen können, die Datenspeicher nahtlos miteinander verbinden und über integrierte, klare Governance- und Observability-Strukturen verfügen. Unternehmen, die heute neue Mitarbeiter einstellen, suchen bereits nach diesem Profil, auch wenn sie es in der Stellenbeschreibung anders formulieren.
Angeregt durch einen Bericht von BigDATAwire.