Für unseren direkten Endkunden suchen wir ab sofort einen Senior Databricks Data Engineer (m/w/d).
Rahmendaten
- Start: ab sofort, Laufzeit bis 31.12.2026 (Verlängerung geplant, langfristige Zusammenarbeit erwünscht)
- Einsatzort: Köln, ca. 40 % vor Ort (2 Tage pro Woche) und 60 % remote
- Wohnort: maximal 100 km um Köln
- Auslastung: Vollzeit
Aufgabenbeschreibung
Im Rahmen der Tätigkeit als Databricks Data Engineer wird das bestehende Oracle-/Informatica-DWH in eine moderne Azure-Lakehouse-Architektur auf Basis von Databricks überführt. In enger Zusammenarbeit mit den Fachbereichen und weiteren Data Engineers entstehen robuste und skalierbare Datenlösungen. Gearbeitet wird iterativ und kundenorientiert in einem etablierten Scrum-Setup.
- Umsetzung und Weiterentwicklung der Azure-/Databricks-Zielarchitektur (Lakehouse)
- Migration bestehender ETL-Prozesse (Informatica/Oracle) in performante Databricks-Pipelines
- Entwicklung von Datenpipelines mit Python, PySpark und SQL
- Aufbau und Pflege von Delta-Lake-Strukturen sowie Pipelines mit DLT/SDP
- Umsetzung von Datenmodellen und Historisierung, unter anderem nach SCD2
- Sicherstellung von Datenqualität und Governance, unter anderem mit Unity Catalog und Berechtigungsmodellen
- Performance-Optimierung bei der Verarbeitung großer Datenmengen
- Begleitung von Tests, Parallelbetrieb und Cutover
- Abstimmung mit Fachbereichen und anderen Entwicklungsteams sowie Dokumentation der Arbeitsergebnisse
Anforderungen
- Fundierte Praxis in der Umsetzung von Lakehouse-Architekturen sowie im Aufbau und Betrieb von Databricks
- Tiefe Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance-Mechanismen
- Fundierte Erfahrung in Python, PySpark und SQL sowie in der Performance-Optimierung großer Datenmengen
- Souveräner Einsatz von KI-basierten Tools zur Effizienzsteigerung in der Entwicklung
- Fundierte Erfahrung im klassischen BI-/DWH-Umfeld, also in Datenhaltung, Datenmodellierung, Datentransport und Historisierung nach SCD2
- Erfahrung als Entwickler in einem Scrum-Team
- Idealerweise Erfahrung in der Ablösung klassischer ETL-Strecken (z. B. Informatica) und deren Überführung nach Databricks
- Ausgezeichnete Deutschkenntnisse in Wort und Schrift sowie sichere, klare Kommunikation mit Fachbereichen und Entwicklungsteams
#J-18808-Ljbffr
Databricks Data Engineer (m/w/d) in Köln Arbeitgeber: VP-Systeme GmbH
Als Java Fullstack Entwickler (m/w/d) in unserem Team bieten wir Ihnen die Möglichkeit, an spannenden Projekten im Bereich der öffentlichen Verwaltung zu arbeiten, während Sie remote und flexibel von überall aus tätig sein können. Unsere Unternehmenskultur fördert Zusammenarbeit und Innovation, und wir legen großen Wert auf die persönliche und berufliche Weiterentwicklung unserer Mitarbeiter durch gezielte Schulungen und Workshops. Profitieren Sie von einem dynamischen Arbeitsumfeld in Düsseldorf, das Ihnen nicht nur interessante Herausforderungen bietet, sondern auch die Chance, einen echten Beitrag zur digitalen Transformation der Finanzverwaltung zu leisten.
