Lead Data Engineer - Data Migration & Lakehouse

Sie gedeihen darin, jahrzehntelange komplexe Altsysteme in eine saubere, moderne Datenarchitektur zu verwandeln. Sie fühlen sich wohl dabei, sich durch undokumentierte Mainframes, verworrene Schemata und mehrdeutige Spezifikationen zu navigieren – und wissen, wie man dieses Chaos in einen klaren technischen Weg umsetzt. Wenn Sie es lieben, komplexe Migrationen von Anfang bis Ende zu leiten, Vertrauen bei den Stakeholdern durch Klarheit und Ehrlichkeit aufzubauen und zu gestalten, wie Daten vom Erbe in die Lakehouse-Ära übergehen – dann ist dies für Sie.

Ihre Aufgaben

• Migrationsverantwortung: Leiten Sie großangelegte Migrationsprojekte von Altsystemen (von SQL über ERP bis hin zu Mainframes) in moderne Cloud-/Lakehouse-Ziele und übernehmen Sie die volle technische Verantwortung.
• Databricks-Architektur: Entwerfen und implementieren Sie robuste Pipelines mit Spark, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines und Databricks Asset Bundles für CI/CD-ähnliche Bereitstellungen.
• Datenmodellierung & Rekonsiliation: Übernehmen Sie die Datenmodellierung, das Schema-Mapping und die Rekonsiliation über heterogene Systeme hinweg und lösen Sie strukturelle Unstimmigkeiten eigenständig.
• Entdeckungs- & Bewertungsführung: Überprüfen Sie Quelldokumentationen, führen Sie Interviews mit Fachexperten, erstellen Sie Lückenanalysen und übersetzen Sie mehrdeutige oder veraltete Spezifikationen in konkrete technische Anforderungen.
• Datenqualität & Validierung: Etablieren Sie Datenqualitätsrahmen und automatisierte Validierungen als Teamstandards.
• Stakeholder-Kommunikation: Identifizieren Sie proaktiv Risiken – Dokumentationslücken, strukturelle Unstimmigkeiten – klar und frühzeitig gegenüber nicht-technischen Stakeholdern und vertreten Sie SQUER mit Zuversicht.

Ihre Qualifikationen

• Migrationsnachweis: 5+ Jahre Erfahrung in der Datenverarbeitung, mit mehreren großangelegten Altsystem-zu-Cloud/Lakehouse-Migrationen, die unabhängig geleitet wurden.
• Databricks-Tiefe: Praktische Beherrschung des Databricks-Ökosystems – Spark, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines und Asset Bundles für CI/CD-ähnliche Bereitstellungen.
• Datenmodellierung & Rekonsiliation: Starke Kenntnisse in der Datenmodellierung und im Schema-Mapping über heterogene Systeme hinweg, von Mainframes bis zu Altsystem-ERPs.
• Entdeckungserfahrung: Erfahrung in den Phasen der Entdeckung/Bewertung von Anfang bis Ende – Interviews mit Fachexperten, Identifizierung von Lücken zwischen Altsystemen und Zielarchitektur, Umwandlung von Mehrdeutigkeiten in konkrete Anforderungen.
• Datenqualitätsrigor: Praktische Erfahrung mit Datenqualitätsrahmen und automatisierten Validierungen (z.B. Great Expectations, dbt-Tests, benutzerdefinierte Rekonsilierungstools).
• Kommunikation & Risikoverantwortung: Fähigkeit, komplexe Themen zu erläutern und Risiken frühzeitig und klar sowohl gegenüber technischen als auch nicht-technischen Stakeholdern zu kommunizieren.
• KI-unterstützte Workflows: Komfort im Umgang mit KI/LLM-unterstützten Werkzeugen im Kontext von Datenpipelines.

Nice-to-Haves

• Erfahrung mit der Archäologie von Altsystemen (undokumentierte COBOL/Mainframe-Systeme, EDI, proprietäre ERPs)
• Einblick in agentische AI
• Metadata-Management oder Datenkatalog-Tools über Unity Catalog hinaus
• Erfahrung im Aufbau oder in der Bewertung von LLM-basierten Mapping/Matching-Tools (Schema-Matching, Entitätsauflösung)

Ihre Vorteile

• Eigentum & Verantwortung: Bei SQUER glauben wir daran, unser Team zu ermächtigen. In unseren flachen Hierarchien zählen Ihre Ideen und Handlungen mehr als Titel. Übernehmen Sie das Ruder, hinterlassen Sie einen Eindruck und wachsen Sie mit uns.
• Lernen & Wachsen: Nutzen Sie ein jährliches Schulungsbudget von 5.000 €, um Ihre Fähigkeiten zu schärfen und profitieren Sie von unserer internen Leadership Academy. Werden Sie Teil unserer aktiven Tech-Community durch Meetups, Hackathons und Schulungen. Erhalten Sie bis zu 40 Stunden/Jahr zusätzliche Freizeit für Ihre persönliche Weiterbildung.
• Spannende Herausforderungen & echter Einfluss: Tauchen Sie in vielfältige Projekte ein, bei denen Ihre Arbeit wirklich einen Unterschied macht – für unsere Kunden und für SQUER.
• Flexibilität für Leistung: Profitieren Sie von hybriden Arbeitsoptionen, flexiblen Arbeitszeiten, Workations innerhalb der EU und zusätzlichen Urlaubstagen – die Ihnen die Freiheit geben, Ihr Bestes zu leisten.
• Maßgeschneiderte Werkzeuge für den Erfolg: Wählen Sie Ihre bevorzugte Hardware-Konfiguration und nutzen Sie unser Angebot an KI-Tools und Lizenzen (Anthropic, OpenAI und mehr), um Ihren Arbeitsstil zu unterstützen.
• Wir schätzen Sie: Über Vergünstigungen und Vorteile hinaus bieten wir ein wettbewerbsfähiges Jahresgehalt, um Ihre außergewöhnlichen Beiträge anzuerkennen.
• Teil einer florierenden Teamkultur: Bei SQUER stehen Zusammenarbeit und Verbindung im Mittelpunkt unseres Handelns. Durch offene Kommunikation, gemeinsame Erfolge und bedeutende Teamevents – einschließlich unseres jährlichen SQUER-Offsites – fördern wir eine Kultur, in der sich jeder geschätzt fühlt und inspiriert wird, gemeinsam zu wachsen.
• Ein perks-reiches Arbeitsumfeld: Arbeiten Sie in einem zentralen Büro nahe dem Ostbahnhof und genießen Sie Essensgutscheine, EGYM Wellpass-Mitgliedschaft, ein kostenloses Deutschland-Ticket, JobRad, Empfehlungsboni, Corporate Benefits und Pluxee-Mitarbeitergeschenke zu besonderen Anlässen.
• Wir glauben an transparente und faire Vergütung. Für diese Rolle liegt das jährliche Bruttogehalt zwischen 81.000 € und 103.000 € – die genaue Einstufung hängt vom Erfahrungsgrad ab, den wir gemeinsam im Verlauf des Prozesses bewerten.

Über uns

Wir setzen uns dafür ein, einen unterstützenden Arbeitsplatz zu schaffen, an dem jeder gedeihen und stolz darauf sein kann, Teil des Teams zu sein. Wir ermutigen unsere Kollegen, Fragen zu stellen, Neues auszuprobieren, kontinuierliche berufliche Entwicklung zu verfolgen und kalkulierte Risiken einzugehen. Sind Sie bereit, in unabhängigen agilen Teams zu lernen und zusammenzuarbeiten? Wir freuen uns darauf, Sie kennenzulernen.