Projektkontext & Zielsetzung
Für strategische Transformationsprojekte und den Ausbau moderner, skalierbarer Datenplattformen suchen wir einen erfahrenen (Senior) Databricks Engineer (m/w/d). In dieser Rolle übernehmen Sie die technische Verantwortung von der Konzeption bis zum produktiven Rollout von Data- & AI-Lösungen auf Basis modernster Lakehouse-Architekturen.
Ihre Aufgaben
- Plattformkonzeption & -architektur: Konzeption, Aufbau und Weiterentwicklung moderner Lakehouse-Architekturen und skalierbarer Datenplattformen auf Databricks.
- Pipeline-Entwicklung: Entwicklung hochperformanter ETL/ELT-Pipelines (Batch und Streaming) unter Einsatz von Python, SQL, PySpark und Apache Spark.
- Databricks-Ökosystem & Tooling: Implementierung moderner Komponenten wie Unity Catalog, Delta Lake sowie Delta Live Tables / Lakeflow; Integration in bestehende Cloud- und Analytics-Landschaften.
- Data Governance & Security: Etablierung robuster Governance-Strukturen, inklusive Datenklassifizierung, Lineage, Datenqualitäts-Frameworks und Zugriffskontrollen.
- Automatisierung & Performance: Aufbau automatisierter Deployments (CI/CD, Infrastructure as Code) sowie kontinuierliche Performance- und Kostenoptimierung bestehender Databricks-Workloads.
- Technische Beratung & Know-how-Transfer: Technische Sparringspartner-Rolle für Stakeholder, Coaching interner Data Engineers sowie Mitwirkung an Proof of Concepts (PoCs).
Must-Have Skills
- Tiefgehende Databricks-Expertise: Mehrjährige Projekterfahrung im Design und Betrieb produktiver Databricks-Lösungen.
- Data Engineering & Programmiersprachen: Exzellente Kenntnisse in Python, SQL sowie fundierte Praxiserfahrung mit PySpark und verteilter Datenverarbeitung (Apache Spark).
- Architektur & Datenmodellierung: Nachweisbare Erfahrung mit Delta Lake, Lakehouse-Paradigmen und relationaler/dimensionaler Datenmodellierung.
- Data Governance & Security: Hands-on-Erfahrung mit Databricks Unity Catalog (Rollen-/Rechtemanagement, Lineage, Data Quality).
- Cloud-Infrastruktur: Solide Projekterfahrung in mindestens einer großen Cloud-Umgebung (Microsoft Azure, AWS oder GCP).
- Software-Engineering-Best-Practices: Versierter Umgang mit Git, CI/CD-Pipelines, Testing und IaC (z. B. Terraform).
- Kommunikation & Arbeitsweise: Selbstständige, strukturierte Arbeitsweise, ausgeprägtes Architekturverständnis sowie fließende Deutsch- und gute Englischkenntnisse.
Nice-to-Have
- Databricks-Zertifizierungen (z. B. Databricks Certified Data Engineer Professional).
- Erfahrung mit Delta Live Tables (DLT) oder Databricks Lakeflow.
- Erfahrung in der technischen Konzeption von PoCs und im Kunden-Coaching.
#J-18808-Ljbffr
(Senior) Databricks Engineer (m/w/d) – Freelance & Remote in Frankfurt am Main Arbeitgeber: Randstad Deutschland
Unser Unternehmen in Emsdetten bietet Ihnen als Lagerarbeiter (m/w/d) eine hervorragende Arbeitsumgebung mit leistungsgerechter Vergütung und attraktiven Sozialleistungen, einschließlich Urlaubs- und Weihnachtsgeld. Wir fördern eine positive Teamkultur und bieten Ihnen die Möglichkeit, sich beruflich weiterzuentwickeln, während Sie von Sonderkonditionen bei verschiedenen Anbietern profitieren. Bei uns stehen Chancengleichheit und ein respektvolles Miteinander im Vordergrund, was uns zu einem ausgezeichneten Arbeitgeber macht.
