Data Engineer - Databricks (gn)

Für unseren Kunden, ein global tätiges Vermögensverwaltungsunternehmen mit einer starken Präsenz in den Bereichen institutionelle und private Kunden, suchen wir derzeit einen Data Engineer - Databricks (gn), um das Team zu verstärken.

Zweck der Stelle

Die Rolle ist verantwortlich für das Entwerfen, Bauen und Betreiben von Datenprodukten und wiederverwendbaren Datenvorbereitungs-Komponenten auf einer Databricks-basierten Daten- und KI-Plattform, während sie als technischer Ermöglicher für interne Plattformbenutzer durch fachkundige Anleitung und fortgeschrittene Unterstützung fungiert. Die Position stellt die Einhaltung von Sicherheits-, Datenschutz- und regulatorischen Anforderungen durch einen Compliance-by-Design-Ansatz sicher, hält die Ausrichtung an etablierten Best Practices für Datenpipelines und Datenqualität aufrecht und treibt die kontinuierliche Verbesserung der Plattform durch die Integration neuer Funktionen und standardisierter, wiederverwendbarer Pipelines voran.

Aufgaben

• Entwicklung und Pflege einer Bibliothek modularer, wiederverwendbarer Pipeline-Komponenten – einschließlich Datenaufnahme, Verarbeitung, Verifizierung und Anreicherung – zur Erzeugung konsistent strukturierter, AI/ML-bereitgestellter Datensätze aus sowohl strukturierten als auch unstrukturierten Quellen.
• Architektur und Ausführung zuverlässiger Daten-Workflows auf Databricks, die aus einer Vielzahl interner und externer Quellen stammen, um saubere, validierte Datenbestände für AI, ML und Reporting-Zwecke zu produzieren.
• Governance des Lebenszyklus geschichteter Datenbestände über Reifegrade hinweg, Einhaltung von Qualitäts- und Zeitstandards bei gleichzeitiger Bereitstellung von zweckgebundenen, analytischen und modellbereiten Ausgabedatensätzen.
• Aufbau und Pflege von Transformations-Workflows, die bedeutende prädiktive Attribute aus Rohdaten ableiten, zusammen mit einem zentral verwalteten Attributrepository mit klarer Versionierung, Eigentum und Service-Level-Verpflichtungen.
• Zusammenarbeit mit AI- und ML-Ingenieuren zur Etablierung und Pflege von Datenversorgungsketten für retrieval-augmentierte Generierungssysteme, einschließlich Inhaltssegmentierung, Vektorrepräsentationsaktualisierungen und Indexsynchronisation.
• Einbettung von Governance-Kontrollen – einschließlich Berechtigungen, Rückverfolgbarkeit, Datenlebenszyklusmanagement, Verschlüsselung und Prüfpfade – in das Plattformdesign, um sowohl interne Richtlinien als auch externe regulatorische Anforderungen zu erfüllen.

Erforderlich

• Mindestens 3 Jahre praktische Erfahrung im Entwerfen und Ausführen von großangelegten Datenpipelines und Datenprodukten auf Databricks – Batch und/oder Streaming – vorzugsweise in regulierten oder governance-intensiven Umgebungen (idealerweise in der Finanzdienstleistungsbranche).
• Fortgeschrittene Kenntnisse in Databricks, Spark, Python und SQL, ergänzt durch fundierte Software-Engineering-Praktiken wie CI/CD-Workflows und Infrastructure-as-Code-Tools (z. B. Terraform) auf Azure.
• Solides Verständnis der Prinzipien des Datenengineering, die für AI/ML-Kontexte relevant sind, einschließlich Datenmodellierung, Qualitätssicherung, Merkmalszusammenarbeit und Reproduzierbarkeit sowie ein Verständnis dafür, wie Datenmerkmale das Verhalten von Modellen beeinflussen.
• Starke Beherrschung moderner Datenarchitektur-Muster – einschließlich Lakehouse-Prinzipien, geschichteter Datenorganisation und Datenproduktdenken – und die Fähigkeit, diese in einem regulierten Unternehmensumfeld praktisch umzusetzen.
• Abschluss in Informatik oder einem vergleichbaren Fachgebiet.
• Starkes analytisches Denken gepaart mit strukturiertem Planen, klarer Dokumentation und der Fähigkeit, Wissen effektiv an Kollegen weiterzugeben.

Bevorzugt

• Beruflicher Hintergrund im Finanzsektor, idealerweise im Bereich Vermögensverwaltung, kombiniert mit internationaler Berufserfahrung und relevanten Databricks-Zertifizierungen.