Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.
Für unseren Kunden suchen wir aktuell eine/n
Data Engineer (Azure & Python) – sozialversicherungspflichtig angestellt (m/w/d) - Mainz & Remote
Rahmeninformationen
- Referenz: 180101
- Start: 2026-09-23
- Dauer: 23.09.2026 - 31.12.2027
- Standort: Mainz & Remote
- Arbeitsumfang: full-time291 PT
- Sprachen: Deutsch
Ihre Qualifikationen
- (Muss) 4 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten sowie in der Implementierung von ETL-/ELT-Prozessen mit Python, SQL und PySpark in Cloud-Umgebungen.
- (Muss) 4 Jahre Erfahrung in der Entwicklung und Modernisierung von Datenplattformen in Microsoft-Azure-Cloud-Umgebungen und Azure Services wie Azure Data Factory oder Azure Synapse.
- (Muss) 4 Jahre Erfahrung in der Entwicklung von Batch- und Streaming-Datenpipelines sowie in der Kafka-basierten Datenverarbeitung zur Bereitstellung großer Datenmengen für Reporting-, Analyse-, KI- und ML-Anwendungsfälle.
- (Muss) Erfahrung in der Integration heterogener Datenquellen, beispielsweise REST oder Kafka, sowie unterschiedlicher Datenformate in cloudbasierte Datenplattformen aus 2 Projekten
- (Muss) 4 Jahre Erfahrung in der Modellierung von Daten heterogener Quellsysteme nach Medallion-Architektur mit Data Vault oder Star Schema
- (Soll) Erfahrung in der Migration und Modernisierung bestehender Datenpipelines und Datenplattformen im Microsoft-Azure-Umfeld, inklusive Migration bestehender Azure-Synapse-Datenflüsse auf moderne cloudbasierte Datenplattformen aus einem Projekt
- (Soll) 4 Jahre Erfahrung in der Konzeption und Umsetzung von Data-Hub- und Lakehouse- Architekturen.
- (Soll) Erfahrung in der Implementierung und Optimierung von ETL-/ELT-Prozessen für die Verarbeitung großer Datenmengen im Cloud-Umfeld, inklusive Performance-Optimierung, Standardisierung von Entwicklungsprozessen und Review von Programmcode aus 2 Projekten
- (Soll) Erfahrung in der Konzeption und Umsetzung von Data-Quality-Prüfungen, automatisierten Tests und technischen Qualitätssicherungsmaßnahmen für ETL-/ELT-Prozesse und Datenpipelines aus 2 Projekten
Ihre Aufgaben
- Analyse fachlicher und technischer Anforderungen sowie Ableitung von Zielarchitekturen für datengetriebene Systeme und Plattformen
- Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)
- Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten
- Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, DataHub-Strukturen sowie verteilte Datenplattformen
- Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen
- Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit
- Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams
- Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten
- Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld
- Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation
- Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehende Datenplattformen
- Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen
#J-18808-Ljbffr
Data Engineer (Azure & Python) – sozialversicherungspflichtig angestellt (m/w/d) in Mainz Arbeitgeber: Westhouse Group
Westhouse bietet eine dynamische und unterstützende Arbeitsumgebung in Augsburg, die es unseren Mitarbeitenden ermöglicht, ihre Fähigkeiten im Bereich SAP und der Energiewirtschaft weiterzuentwickeln. Wir fördern eine teamorientierte Kultur, in der Eigeninitiative geschätzt wird und individuelle Wachstumschancen geboten werden. Zudem profitieren unsere Mitarbeiter von flexiblen Arbeitsmodellen und einer hohen Datenqualität, die für eine effiziente Bearbeitung von Kundenanfragen sorgt.
