Data Engineer (Senior) / (m/w/d) | 95 % remote in Leipzig

Als Data Engineer mit Fokus auf Azure und Databricks gestaltest du moderne daten- und AI-getriebene Plattformen. Du entwickelst skalierbare Lakehouse- und AI-Architekturen, die klassische Analytics- und BI-Anwendungen ebenso unterstützen wie Machine-Learning-, Generative-AI- und agentenbasierte Workloads. Du konzipierst AI-Systeme von der Auswahl geeigneter Modelle und Anbieter über Datenanbindung, Evaluation und Governance bis hin zum sicheren und skalierbaren Betrieb. Dabei kennst du die typischen Herausforderungen produktiver AI-Lösungen und entwickelst Architekturen, die hinsichtlich Qualität, Sicherheit, Datenschutz, Performance und Kosten überzeugen.

Neben der technischen Architektur übernimmst du eine zentrale Rolle in der Beratung unserer Kunden – von der ersten Daten- und AI-Strategie über das Solution Design bis zur Umsetzung. Du arbeitest eng mit Data Engineers, Data Scientists, AI Engineers, Cloud-Teams und Fachbereichen zusammen und übernimmst fachliche Führung innerhalb unserer Projekte. Perspektivisch besteht die Möglichkeit, auch disziplinarische Führungsverantwortung zu übernehmen.

Deine Aufgaben

• Architektur und Design moderner Data- und AI-Plattformen auf Basis von Azure, Databricks und Lakehouse-Architekturen
• Entwicklung skalierbarer End-to-End-Datenlösungen von der Datenintegration bis zur analytischen und AI-gestützten Nutzung
• Konzeption und Aufbau produktiver AI-Systeme, beispielsweise für Generative AI, RAG, Document Intelligence, intelligente Suche und AI Agents
• Auswahl und Bewertung geeigneter AI-Modelle, Plattformen und Anbieter unter Berücksichtigung von Qualität, Datenschutz, Kosten, Skalierbarkeit und Vendor Lock-in
• Integration unterschiedlicher kommerzieller und Open-Source-Modelle, beispielsweise über Azure AI Foundry, Azure OpenAI, Databricks oder vergleichbare Plattformen
• Entwicklung von Evaluations- und Monitoring-Konzepten für AI-Anwendungen, unter anderem hinsichtlich Antwortqualität, Halluzinationen, Latenz, Kosten und Zuverlässigkeit
• Gestaltung sicherer AI-Architekturen inklusive Zugriffskontrollen, Datenschutz, Guardrails, Prompt-Injection-Schutz und verantwortungsvoller AI-Nutzung
• Aufbau von LLMOps-, MLOps- und Model-Lifecycle-Prozessen für Entwicklung, Testing, Deployment, Monitoring und kontinuierliche Verbesserung
• Design und Implementierung von ETL-/ELT-Pipelines mit Python, SQL und PySpark
• Nutzung des Databricks-Ökosystems, insbesondere Delta Lake, Unity Catalog, MLflow und Databricks Workflows
• Aufbau und Integration klassischer Machine-Learning-Workflows und MLOps-Strukturen
• Technische Leitung und Koordination mehrerer Data-, Analytics- und AI-Projekte
• Fachliche Führung und Mentoring von Data Engineers, AI Engineers und Analytics-Teams
• Beratung unserer Kunden bei der Konzeption moderner Data- und AI-Plattformen sowie bei der Identifikation sinnvoller AI-Anwendungsfälle
• Übersetzung fachlicher Anforderungen in realistische, produktionsfähige Lösungsarchitekturen
• Unterstützung bei Pre-Sales- und Sales-Aktivitäten, insbesondere durch: Solution Designs und Architekturkonzepte, technische Workshops und Discovery Sessions, Entwicklung von Prototypen und Proofs of Concept, Unterstützung bei Angebots- und Lösungspräsentationen
• Sicherstellung von Performance, Skalierbarkeit, Zuverlässigkeit und Kostenoptimierung in der Cloud
• Entwicklung von Best Practices für Data Governance, AI Governance, Security und Data Quality

Dein Profil

• Mehrjährige Erfahrung im Design und Betrieb moderner Cloud-Datenplattformen
• Sehr gute Kenntnisse in Azure, Python, SQL und Databricks
• Fundierte Erfahrung mit Lakehouse-Architekturen und Data-Engineering-Workflows
• Praktische Erfahrung in der Konzeption oder Umsetzung produktiver AI- und Machine-Learning-Systeme
• Erfahrung mit Generative AI, Large Language Models, RAG-Architekturen oder AI Agents
• Verständnis der unterschiedlichen Stärken und Grenzen kommerzieller und offener AI-Modelle sowie Erfahrung mit verschiedenen Modellen oder Anbietern
• Fähigkeit, geeignete Modelle und Technologien abhängig vom jeweiligen Anwendungsfall auszuwählen und fundiert zu bewerten
• Kenntnisse typischer Herausforderungen produktiver AI-Systeme, beispielsweise: Halluzinationen und schwankende Antwortqualität, fehlende oder unzureichende Evaluation, Datenschutz und Informationssicherheit, Prompt Injection und unkontrollierte Tool-Nutzung, Latenz, Skalierbarkeit und Kosten, Abhängigkeit von einzelnen Modellen oder Anbietern
• Erfahrung mit MLflow, Machine-Learning-Pipelines, MLOps oder LLMOps
• Erfahrung mit Delta Lake, Databricks Workflows und Data Orchestration
• Erfahrung oder Interesse an Pre-Sales- und kundenorientierten Solution-Design-Aktivitäten
• Erfahrung oder erste Berührungspunkte mit fachlicher Führung oder technischer Projektleitung
• Interesse daran, perspektivisch auch disziplinarische Führungsverantwortung zu übernehmen
• Erfahrung mit CI/CD, Git, Infrastrukturautomatisierung und Performance-Optimierung
• Fähigkeit, mehrere Projekte als Solution Architect zu koordinieren und unterschiedliche technische sowie fachliche Stakeholder zusammenzubringen
• Erfahrung im Versicherungs-, Banking- oder Asset-Management-Umfeld ist von Vorteil

Warum diese Rolle spannend ist

• Gestaltung moderner Data- und AI-Plattformen im Enterprise-Umfeld
• Architekturverantwortung kombiniert mit Hands-on-Entwicklung
• Entwicklung produktiver AI-Lösungen statt ausschließlich experimenteller Proofs of Concept
• Arbeit mit modernen Technologien aus dem Azure-, Databricks- und AI-Ökosystem
• Möglichkeit, unterschiedliche Modelle, Plattformen und Lösungsansätze technologieoffen zu bewerten
• Kombination aus Architektur, AI, Data Engineering, Beratung und technischer Umsetzung
• Direkter Einfluss auf unsere Data- und AI-Strategie sowie auf die Weiterentwicklung unserer Lösungen
• Möglichkeit zur Weiterentwicklung in eine Lead- oder Führungsrolle

Rahmenbedingungen

Für diese Position sind fließende Deutschkenntnisse auf professionellem Niveau zwingend erforderlich. Zudem muss sich dein Erstwohnsitz in Deutschland befinden – idealerweise im Raum München. Die Tätigkeit ist zu etwa 95 % remote möglich. Gelegentlich finden Workshops, Projekttermine und Kundengespräche vor Ort statt. Wir freuen uns auf deine Bewerbung und darauf, dich kennenzulernen.