AWS gab bekannt, dass Aurora nun Daten abfragen kann, die in S3-basierten Data Lakes gespeichert sind, ohne diese zuvor in die Datenbank kopieren zu m\u00fcssen. Die Funktion nutzt Apache-Iceberg-Tabellenformate und erm\u00f6glicht es transaktionalen Anwendungen, Daten nahezu in Echtzeit aus Analysespeichern abzurufen. F\u00fcr Datenteams bedeutet dies ganz einfach: weniger n\u00e4chtliche Batch-Jobs, weniger Probleme bei der Datenabstimmung und weniger Wartungsaufwand f\u00fcr die Infrastruktur.<\/p>\n
Wir haben beobachtet, wie Unternehmen in der DACH-Region monatelang ma\u00dfgeschneiderte ETL-Pipelines aufgebaut haben, um ihre Produktionsdatenbanken und Analyseebenen synchron zu halten. Ein Frankfurter Versicherungsunternehmen, mit dem wir zusammenarbeiten, besch\u00e4ftigt drei Vollzeit-Ingenieure, die sich ausschlie\u00dflich um die Wartung der Pipelines k\u00fcmmern. Wenn um 2 Uhr morgens etwas kaputtgeht, ist der Bereitschaftsdienst extrem anstrengend. Tools, die diesen Aufwand reduzieren, entlasten diese Ingenieure und erm\u00f6glichen es ihnen, sich auf Aufgaben zu konzentrieren, die das Unternehmen tats\u00e4chlich voranbringen.<\/p>\n
Die Auswirkungen auf die Personalbeschaffung ergeben sich direkt daraus. Unternehmen, die Zero-ETL-Muster einf\u00fchren, werden weiterhin Dateningenieure ben\u00f6tigen, doch die Rolle dieser Fachkr\u00e4fte ver\u00e4ndert sich. Die Konfiguration und das Erstellen von Pipeline-Skripten verlieren an Bedeutung. Architektonisches Denken gewinnt an Bedeutung: Es geht darum zu entscheiden, welche Daten wo verbleiben, wie Zugriffsmuster optimiert werden sollten und wie Abfragen gesteuert werden, die sowohl transaktionale als auch analytische Bereiche umfassen. In immer mehr Stellenbeschreibungen werden nun Iceberg, Delta Lake oder Hudi neben Erfahrung mit herk\u00f6mmlichen Datenbanken als erforderliche F\u00e4higkeiten aufgef\u00fchrt.<\/p>\n
F\u00fcr Bewerber vollzieht sich dieser Wandel schrittweise, ist aber im Auge zu behalten. Ingenieure, die ihre Karriere damit verbracht haben, Batch-Pipelines aufzubauen, werden feststellen, dass diese F\u00e4higkeiten in den kommenden Jahren an Alleinstellungsmerkmalen verlieren k\u00f6nnten. Der Fokus verlagert sich zunehmend auf Fachkr\u00e4fte, die Systeme entwerfen k\u00f6nnen, die Datenspeicher nahtlos miteinander verbinden und \u00fcber integrierte, klare Governance- und Observability-Strukturen verf\u00fcgen. Unternehmen, die heute neue Mitarbeiter einstellen, suchen bereits nach diesem Profil, auch wenn sie es in der Stellenbeschreibung anders formulieren.<\/p>\n
Angeregt durch einen Bericht von BigDATAwire.<\/em><\/p>","protected":false},"excerpt":{"rendered":" AWS hat Aurora um eine Zero-ETL-Funktion erweitert, sodass transaktionale Datenbanken nun direkt auf S3-Data-Lakes zugreifen k\u00f6nnen. F\u00fcr Unternehmen, die Dateningenieure einstellen, ver\u00e4ndert dies das Anforderungsprofil: weniger Arbeit an der Pipeline-Einrichtung, mehr architektonisches Urteilsverm\u00f6gen.<\/p>","protected":false},"author":4,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[30,26],"tags":[],"class_list":["post-2668","post","type-post","status-publish","format-standard","hentry","category-data-digital","category-latest-news"],"yoast_head":"\n