Vesterling Personalberatung für Technologie: Wir sind Pioniere im Technology Recruiting und vermitteln Informatiker und Ingenieure in Festanstellung. Wir sind für mehr als 2.500 Unternehmen tätig. Einmal bei uns bewerben, unzählige Job-Chancen erhalten. Unser Klient ist ein mittelständisches Beratungshaus, das seine Kunden aus der Finanzbranche dabei unterstützt, die vielfältigen Herausforderungen, die im täglichen Handelsgeschäft oder etwa durch gesetzliche Änderungen und Regulierungen entstehen, zu bewältigen. Als Senior Data Engineer erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses. Standort: Frankfurt am Main Vertragsart: Unbefristete Festanstellung durch unseren Klienten Aufgaben Als Senior Databricks Architekt erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses. Es geht umd die Auflösung gewachsener Datensilos und um den Bau cloudbasierter Lakehouse-Plattformen für Analytics und regulatorisches Reporting. Von der Architekturskizze bis zur Pipeline, die im Betrieb tatsächlich hält, gestalten Sie diese Plattformen mit Sie entwerfen und implementieren skalierbare Lakehouse-Lösungen, die Batch- und Near-Real-TimeVerarbeitung gleichermaßen tragen, bauen robuste Datenstrecken mit Python, SQL und PySpark – entlang der Medallion-Architektur von Bronze bis Gold und konzipieren event-getriebene Architekturen auf Basis von Kafka, AMQP oder vergleichbaren Messaging-Technologien. Ihre Tätigkeit erbringen Sie im folgenden Umfeld: Compute & Processing Engine: Databricks, PySpark, Python (pandas, numpy, scipy, os, itertools, matplotlib etc.), Spark SQL, Delta Lake Data Lakehouse Storage: Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement) Orchestrierung & Workflow: Apache Airflow, Databricks Workflows (DAGs, Scheduling, Alerts) API & Microservices: Python (FastAPI / Flask), OpenAPI / Swagger, Entwicklung von RESTful APIs Data Governance & Mesh: Databricks Unity Catalog, OpenAPI Data Contracts Legacy & File Ingestion: Mainframe EBCDIC, Fixed-Width-File-Parser (KI-gestützt), Kafka, SFTP Infrastructure as Code (IaC): Cloud-Technologien, MS Azure CI/CD & DevOps: GitHub Actions / Azure DevOps, Docker, Git Ihr Profil Sie haben mehrjährige Berufserfahrung im nachfolgenden Technologieumfeld: Databricks & PySpark: fundierte Kenntnisse in PySpark, Delta Lake, Performance Tuning, Partitionierungsstrategien sowie Databricks Unity Catalog API-Entwicklung: ausgeprägte Python-Kenntnisse im Backend-Bereich (FastAPI, Flask, Requests, Pydantic, Containerisierung mit Docker) Orchestrierung: Erfahrung im Schreiben komplexer Apache-Airflow-DAGs und/oder vergleichbarer Workflow-Tools IT-Architektur: Kenntnisse der Medallion-Architektur, dezentraler Data-Mesh-Ansätze sowie allgemeiner Backend-Architekturen Sie haben gute Deutsch- und Englischkenntnisse Benefits Sie arbeiten mit in einem spezialisierten Beratungshaus, das für die Finanzbranche im Raum Frankfurt tätig ist. Es geht dabei um Projekte, die vorhandene Systeme und Prozesse verändern, was z.B. durch regulatorische bzw. gesetzliche Anforderungen initiiert wird. Es erwartet Sie ein freundliches Team mit flachen Hierarchien, geregelten Arbeitszeiten und sehr guter technischer Ausstattung. Sie können ein Jobticket erhalten oder Firmenparkplätze nutzen. Machen Sie Ihren nächsten Karriereschritt und bewerben Sie sich direkt hier. Ihre Daten werden von uns niemals ohne Ihre explizite Zustimmung für jeden Einzelfall weitergeleitet. Wir garantieren eine Rückmeldung innerhalb von 2 Arbeitstagen.
Senior Databricks Architekt | PySpark, Python, Data Lakehouse, IaC | bis 50% Home-Office (mwd) in Frankfurt am Main Arbeitgeber: Vesterling AG
Als SAP Basis und SAP Security Berater in einem nachhaltig agierenden Familienunternehmen in Siegen profitieren Sie von einer attraktiven Vergütung, flexiblen Arbeitszeiten im Mobile Office und einer starken Work-Life-Balance. Das Unternehmen fördert eine mitmachende Kultur und bietet zahlreiche Mitarbeiterbenefits wie Weihnachts- und Urlaubsgeld sowie betriebliche Altersvorsorge, was es zu einem hervorragenden Arbeitgeber für Ihre berufliche Weiterentwicklung macht.
