Cloud Data Engineer (m/f/d) – Azure Databricks

Innerhalb des Operations Business von BayWa r.e. betreiben und warten wir eine Anlagenflotte von mehr als 10 GW Wind- und PV-Anlagen weltweit. Wir bedienen diese Anlagen mit über 800 technischen und kaufmännischen Kollegen, die in lokalen Landesorganisationen in unseren verschiedenen Märkten organisiert sind. Unser Fokus liegt darauf, die Leistung und Langlebigkeit jeder Anlage zu optimieren und gleichzeitig die Sicherheit unserer Mitarbeiter sowohl für unsere internen als auch externen Kunden zu gewährleisten.

Als Cloud Data Engineer (m/w/d) – Azure Databricks werden Sie dazu beitragen, unsere Lakehouse-Datenplattform für Betriebsdaten von erneuerbaren Energieanlagen zu betreiben, zu optimieren und weiterzuentwickeln. Der ideale Kandidat hat eine Leidenschaft für die Verarbeitung großer Datenmengen mit einem starken Fokus auf Qualität, Zeitreihen, Cloud und moderne Datenarchitektur.

Was Sie tun werden:

• Sie sind verantwortlich für das Design, die Entwicklung und die Wartung skalierbarer Datenpipelines für Solar- und Windparks in unserer Microsoft Azure Cloud und der Databricks-Datenplattform.
• Sie entwickeln und pflegen ein robustes Datenmodell, das Daten für Machine Learning und Datenanalytik-Experten basierend auf unserer Lake House-Architektur bereitstellt.
• Sie überwachen die Vereinheitlichung von Batch- und Streaming-Datenpipelines und stellen die Datenkonsistenz über verschiedene Quell- und Zielsysteme hinweg sicher.
• Sie implementieren einen Datenqualitätsrahmen, Validierungsprozesse, Test-Suiten und Überwachungslösungen, um hohe Qualitätsstandards über Code, Daten und Workflows hinweg aufrechtzuerhalten.
• Sie nutzen eine vollständige Suite von Tools und Plattformen, einschließlich Azure, Databricks, Delta Lake und DevOps, mit einem starken Fokus auf Zeitreihendaten.

Was Sie benötigen, um erfolgreich zu sein:

• Sie haben etwa 5 Jahre Berufserfahrung im Bereich Datenengineering mit einer soliden Grundlage in Datenarchitektur, Cloud-Datenplattformen und insbesondere Azure und Databricks.
• Sie haben eine nachweisliche Erfolgsbilanz beim Aufbau und der Wartung großer Datensätze, codebasierter Datenpipelines, Datenmodelle und mehrschichtiger Dateninfrastruktur.
• Sie haben nachgewiesene Expertise in der Arbeit mit der Lake House-Architektur, dem Delta-Format und verwandten Big Data-Analyseformaten.
• Sie sind versiert in Python, SQL und Spark.
• Sie haben starke Kenntnisse in den besten Praktiken der Softwareentwicklung, DevOps-Operationen, CI/CD und testgetriebener Entwicklung.
• Sie verfügen über gute Kommunikationsfähigkeiten in Englisch.

Was Sie erwartet:

• Teil eines hochmotivierten, ständig wachsenden und multikulturellen Teams zu sein, das die Energiewende vorantreibt.
• Innovatives und sich schnell veränderndes Markt- und Arbeitsumfeld.
• Mobiles Arbeiten.
• Flexible Arbeitszeiten.
• Moderne Büroumgebung.
• Unternehmensrestaurant / Barista-Bar.
• Vergünstigte Fitnesskonditionen.
• Vergünstigtes Online-Shopping.

Bei BayWa r.e. setzen wir uns voll und ganz für Chancengleichheit und Inklusion ein und begrüßen Vielfalt in unserem Team. Wir freuen uns über Bewerbungen von allen, unabhängig von Geschlecht, Geschlechtsidentität, nationaler Herkunft, Religion, sozialem, kulturellem oder ethnischem Hintergrund, Alter, nicht diskriminierender körperlicher oder geistiger Behinderung, Schwangerschaft, Veteranenstatus oder einem anderen durch das Gesetz geschützten Status.