Auf einen Blick
- Aufgaben: Entwickle ETL-Pipelines und automatisierte Datenqualitätsprüfungen auf Databricks.
- Unternehmen: Innovatives Unternehmen im B2B-Bereich mit Fokus auf Datenaggregation.
- Vorteile: Attraktives Gehalt, flexible Arbeitszeiten und Weiterbildungsmöglichkeiten.
- Weitere Informationen: Dynamisches Team mit großartigen Entwicklungschancen.
- Warum dieser Job: Gestalte die Zukunft der Datenintegration und arbeite mit modernster Technologie.
- Qualifikationen: Mindestens 5 Jahre Erfahrung in der Datenverarbeitung und starke PySpark-Kenntnisse.
Das prognostizierte Gehalt liegt zwischen 60000 - 80000 € pro Jahr.
Verantwortlichkeiten
- Teilnahme an einem B2B Sales Data Aggregation Programm, das auf Databricks basiert
- Vereinheitlichung von CRM-Daten aus Salesforce, Microsoft Dynamics 365 und Excel/SharePoint
- Entwurf und Aufbau von ETL-Pipelines und CDC/incrementalen Konnektoren
- Implementierung von Bronze- zu Silber-Transformationen mit Delta Lake
- Entwicklung von PySpark-Notebooks und Anwendung von Delta Lake-Optimierungen
- Aufbau automatisierter Datenqualitätsprüfungen und Bereitstellung von KPI-Dashboards
- Einrichtung von Monitoring, Alarmierung und Job-Orchestrierung
- Dokumentation der Architektur und Datenherkunft
Anforderungen
- Über 5 Jahre Erfahrung im Bereich Datenengineering
- Über 3 Jahre Erfahrung mit Databricks und Delta Lake
- Starke Fähigkeiten in PySpark / Python und SQL
- Nachgewiesene Erfahrung in der Integration von Salesforce
- Deutschkenntnisse sind von Vorteil.
Wir glauben, dass du diese Fähigkeiten brauchst, um Senior Databricks Engineer mit Bravour zu bestehen
Databricks
Delta Lake
ETL-Pipelines
CDC/incrementale Connectoren
PySpark
Python
SQL
