Als Senior Data Engineer erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses.
Karrierelevel: Ab 2 Jahre
Vertragsart: Unbefristete Festanstellung durch unseren Klienten
Standort: Frankfurt am Main (Home Office bis 50%)
Gehaltsspanne: 60.000 € - 100.000 €
Ihre Aufgaben:
- Als Senior Data Engineer erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses.
- Es geht um die Auflösung gewachsener Datensilos und um den Bau cloudbasierter Lakehouse-Plattformen für Analytics und regulatorisches Reporting.
- Von der Architekturskizze bis zur Pipeline, die im Betrieb tatsächlich hält, gestalten Sie diese Plattformen mit
- Sie entwerfen und implementieren skalierbare Lakehouse-Lösungen, die Batch- und Near-Real-Time Verarbeitung gleichermaßen tragen, bauen robuste Datenstrecken mit Python, SQL und PySpark – entlang der Medallion-Architektur von Bronze bis Gold und konzipieren event-getriebene Architekturen auf Basis von Kafka, AMQP oder vergleichbaren Messaging-Technologien.
- Ihre Tätigkeit erbringen Sie im folgenden Umfeld:
- Compute & Processing Engine: Databricks, PySpark, Python (pandas, numpy, scipy, os, itertools, matplotlib etc.), Spark SQL, Delta Lake
- Data Lakehouse Storage: Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement)
- Orchestrierung & Workflow: Apache Airflow, Databricks Workflows (DAGs, Scheduling, Alerts)
- API & Microservices: Python (FastAPI / Flask), OpenAPI / Swagger, Entwicklung von RESTful APIs
- Data Governance & Mesh: Databricks Unity Catalog, OpenAPI Data Contracts
- Legacy & File Ingestion: Mainframe EBCDIC, Fixed-Width-File-Parser (KI-gestützt), Kafka, SFTP
- Infrastructure as Code (IaC): Cloud-Technologien, MS Azure
- CI/CD & DevOps: GitHub Actions / Azure DevOps, Docker, Git
Ihr Profil:
- Sie haben mehrjährige Berufserfahrung im nachfolgenden Technologieumfeld:
- Databricks & PySpark: fundierte Kenntnisse in PySpark, Delta Lake, Performance Tuning, Partitionierungsstrategien sowie Databricks Unity Catalog
- API-Entwicklung: ausgeprägte Python-Kenntnisse im Backend-Bereich (FastAPI, Flask, Requests, Pydantic, Containerisierung mit Docker)
- Orchestrierung: Erfahrung im Schreiben komplexer Apache-Airflow-DAGs und/oder vergleichbarer Workflow-Tools
- IT-Architektur: Kenntnisse der Medallion-Architektur, dezentraler Data-Mesh-Ansätze sowie allgemeiner Backend-Architekturen
- Sie haben gute Deutsch- und Englischkenntnisse
Details zum Arbeitgeber
Anzahl der Mitarbeiter: < 50 Mitarbeiter
Branchen: Finanzwesen
Klient: Unser Klient ist ein mittelständisches Beratungshaus, das seine Kunden aus der Finanzbranche dabei unterstützt, die vielfältigen Herausforderungen, die im täglichen Handelsgeschäft oder etwa durch gesetzliche Änderungen und Regulierungen entstehen, zu bewältigen.
#J-18808-Ljbffr
Senior Data Engineer | Databricks, PySpark, Python, Data Lakehouse, IaC | bis 50% Home-Office (mwd) in Frankfurt am Main Arbeitgeber: Vesterling
Unser Unternehmen in Mainz bietet Ihnen als Abteilungsleiter Softwareentwicklung nicht nur die Möglichkeit, ein engagiertes Team zu führen, sondern auch eine flexible Arbeitsumgebung mit bis zu 60% Home Office. Wir legen großen Wert auf eine offene und unterstützende Unternehmenskultur, die Ihre persönliche und fachliche Entwicklung fördert, während Sie an innovativen Projekten arbeiten und neue Technologien evaluieren. Profitieren Sie von unbefristeten Anstellungen und einem klaren Fokus auf Mitarbeiterzufriedenheit und -wachstum.
