Databricks Data Engineer

Wir suchen einen Databricks Data Engineer, um skalierbare Datenpipelines und kuratierte Datenprodukte auf Databricks zu entwerfen, zu bauen und zu betreiben. Sie werden in den Bereichen Ingestion, Transformation, Governance und Lieferung arbeiten – unter Verwendung von SQL, Python und PySpark – und dabei starke Prinzipien des Data Warehousing (Kimball) anwenden.

Diese Rolle erfordert praktische Erfahrung mit den Funktionen der Databricks-Plattform, einschließlich Unity Catalog und Lakeflow Declarative Pipelines, sowie einen disziplinierten Ansatz zur Qualitätssicherung durch Validierung/Erwartungen.

Hauptverantwortlichkeiten:

• Aufbau und Wartung produktionsgerechter Datenpipelines in Databricks unter Verwendung von SQL, Python und PySpark.
• Implementierung von ELT/ETL-Mustern für Batch- und (wo relevant) Streaming-Datenverarbeitung.
• Entwicklung und Pflege von Lakehouse-Datenmodellen und kuratierten Datensätzen, die an DWH-Best-Practices (Kimball/Inmon/Data Vault) ausgerichtet sind.
• Nutzung der nativen Funktionen von Databricks zur Implementierung robuster, wartbarer Pipelines (z. B. Lakeflow Declarative Pipelines).
• Implementierung von Datenqualitätsprüfungen (z. B. Erwartungen) und Monitoring, um Zuverlässigkeit und Vertrauen in Datenprodukte sicherzustellen.
• Konfiguration und Verwaltung von Governance- und Zugriffssteuerungen mit Unity Catalog, einschließlich Katalogen/Schemata, Berechtigungen und lineage-freundlichen Praktiken.
• Optimierung von Leistung und Kosten (Clustergröße, Partitionierung, Dateigrößen, Caching, Abfrageoptimierung).
• Zusammenarbeit mit Analytics-, Data Science- und Engineering-Interessengruppen, um Anforderungen in gut definierte Datenverträge und Ergebnisse zu übersetzen.
• Erstellung und Pflege technischer Dokumentationen für Pipelines, Modelle und betriebliche Handbücher.
• Unterstützung der operativen Exzellenz: Incident Response, Root-Cause-Analyse und kontinuierliche Verbesserung der Zuverlässigkeit der Datenplattform.

Erforderliche Qualifikationen:

• Nachgewiesene praktische Erfahrung mit Databricks in Produktionsumgebungen.
• Starkes Fachwissen in SQL, Python und PySpark für Datenengineering-Arbeitslasten.
• Praktische Erfahrung mit Databricks-spezifischen Technologien wie:
• Lakeflow Declarative Pipelines (DLT)
• Erwartungen/Datenqualitätsvalidierungsmuster
• Unity Catalog (Governance, Zugriffskontrolle, Katalog/Schema-Management)
• Weitere Databricks-Plattformkomponenten, die für die Pipeline-Entwicklung und -Betrieb relevant sind.
• Solide Erfahrung mit Design- und Modellierungsmethodologien im Data Warehousing (Kimball, Inmon oder Data Vault).
• Verständnis der Grundlagen des Datenengineerings: Orchestrierungsmuster, inkrementelle Verarbeitung, SCDs, Metadatenmanagement und Beobachtbarkeit.

Wünschenswerte Qualifikationen:

• Erfahrung mit Microsoft SQL Server und T-SQL.
• Erfahrung in Azure (z. B. ADLS, Azure-Netzwerk-/Sicherheitskonzepte, Identität/Auth).
• Kenntnisse in Git-basierten Workflows (Branching, Code-Reviews) und CI/CD für Datenpipelines.

Arbeitsstil und Zusammenarbeit:

• Ownership-Mindset: Sie bauen es, Ihre Einheit.
• Pragmatisches Engineering: Fokus auf Zuverlässigkeit, Klarheit und Wartbarkeit über „clever“.
• Starke Kommunikation: Fähigkeit, Stakeholder bei Definitionen, Annahmen und Trade-offs auszurichten.

Das Einstiegsgehalt für diese Position beträgt 5.500 € pro Monat (B2B-Kooperationsart). Wir bieten:

• Ein wirklich globaler Arbeitsplatz – arbeiten Sie mit Fachleuten aus über 40 Nationalitäten zusammen, die vielfältige Expertise, Perspektiven und eine kollaborative internationale Kultur einbringen.
• Hybrides und flexibles Arbeiten – wir unterstützen die Work-Life-Balance mit Remote-Arbeitsoptionen und modernen Büros in ganz Europa.
• Eine Kultur des Wachstums – wir investieren in Ihre Zukunft, bieten LinkedIn Learning, Mentoring und Programme zur beruflichen Entwicklung, einschließlich HiPo- und Führungsentwicklungsinitiativen zur Unterstützung Ihrer Karriere.
• Finanzielle Wachstumschancen – profitieren Sie von unserem Programm zur Aktienkaufanpassung, das es Ihnen ermöglicht, in Ihre Zukunft mit angepassten Beiträgen und langfristigen finanziellen Belohnungen zu investieren.
• Workation-Programm – arbeiten Sie bis zu 2 Monate pro Jahr remote aus verschiedenen Ländern und erleben Sie neue Kulturen, während Sie verbunden und produktiv bleiben.

Wir können KI-Tools (Künstliche Intelligenz) verwenden, um bestimmte Teile des Einstellungsprozesses zu unterstützen, z. B. bei der Überprüfung von Bewerbungen, der Analyse von Lebensläufen oder der Bewertung von Antworten anhand vordefinierter Kriterien. Diese Tools unterstützen unser Rekrutierungsteam, ersetzen jedoch nicht das menschliche Urteil. Alle endgültigen Einstellungsentscheidungen werden von menschlichen Recruitern getroffen. Indem Sie sich bewerben, bestätigen Sie, dass Sie unsere Datenschutzrichtlinie für die Rekrutierung gelesen und akzeptiert haben.