Auf einen Blick
- Aufgaben: Optimiere Spark-Workloads und verbessere die Effizienz in einem dynamischen Finanzumfeld.
- Unternehmen: Führendes Rückversicherungsunternehmen mit innovativen Datenlösungen.
- Vorteile: Attraktives Gehalt, flexible Arbeitszeiten und Weiterbildungsmöglichkeiten.
- Weitere Informationen: Spannende Karrierechancen in einem dynamischen Team.
- Warum dieser Job: Gestalte die Zukunft der Datenverarbeitung und arbeite mit modernster Technologie.
- Qualifikationen: Erfahrung mit Apache Spark und Databricks sowie starke Kommunikationsfähigkeiten.
Das prognostizierte Gehalt liegt zwischen 48000 - 84000 € pro Jahr.
Unser Kunde sucht einen erfahrenen Apache Spark Optimierungsexperten, der unserem Data Engineering-Team im Bereich Finance InfoTech eines führenden Rückversicherungsunternehmens beitritt. Ihre Azure-basierte Datenlösung verarbeitet Milliarden von Datensätzen innerhalb herausfordernder Fristen. Ihr Hauptaugenmerk liegt auf der Optimierung und Feinabstimmung von Spark-Workloads zur Verbesserung der Leistung, Stabilität und Effizienz. Ihre Plattform basiert auf Azure Databricks mit intensiver Nutzung von Delta Lake-Tabellen. Zudem haben wir Datenintegrationen zu verschiedenen relationalen Datenbanken.
Hauptverantwortlichkeiten:
- Analysieren, Troubleshooting und Optimierung der Leistung von Spark-Workloads
- Sicherstellen, dass die Datenaufnahme aus relationalen Datenbanken (in der Regel über JDBC-Verbindungen) optimalen und zuverlässigen Durchsatz bietet
- Durchführen von Benchmarks, Interpretieren und Erstellen von Ausführungen aus Spark-Ausführungsplänen und Vorbereiten von Beispielen (z.B. in Notebooks), um eine bessere Leistung und Effizienz zu erzielen
- Analysieren unserer auf Python basierenden Codebasen auf Optimierungspotenzial und Unterstützung der Teams bei der Anwendungsentwicklung, einschließlich komplizierter Cashflow-Vorbereitungslogik
- Überwachen und Feinabstimmen von Spark- und Databricks-Clustern hinsichtlich Kosten-Effektivität und operativer Exzellenz
Top 3 essentielle Fähigkeiten/Erfahrungen:
- Signifikante praktische Erfahrung mit Apache Spark
- Erfahrung mit der Databricks-Plattform, vorzugsweise in Azure
- Exzellente Kommunikationsfähigkeiten in Englisch (schriftlich und mündlich)
Gewünschte Fähigkeiten und Qualifikationen:
- Signifikante praktische Erfahrung mit Apache Spark, einschließlich detaillierter und nachweisbarer Expertise in der Leistungsoptimierung und -feinabstimmung
- Tiefes Verständnis der Spark-Interna, Ausführungspläne, verschiedene Arten von Joins, Tabellenlayouts einschließlich flüssiger Clusterung und Adaptive Query Execution (AQE)
- Umfangreiche Erfahrung in der Optimierung von Spark MERGE-Anweisungen, Joins, Aggregationen und Transformationen
- Praktische Erfahrung in der Verbindung von Spark mit relationalen Datenbanken über JDBC und der Optimierung ihres Durchsatzes
- Expertenniveau in Python und PySpark
- Erfahrung mit der Databricks-Plattform, vorzugsweise in Azure
- Starke analytische Fähigkeiten zur schnellen Diagnose von Leistungsengpässen und Implementierung effektiver Lösungen
- Exzellente Kommunikationsfähigkeiten in Englisch (schriftlich und mündlich)
Data Engineer / Apache Spark Performance OptimizationSpecialist (m/w/d) 100% Arbeitgeber: Randstad - High priority
Unser Unternehmen ist ein führender Rückversicherer, der nicht nur innovative Lösungen im Finanz-InfoTech-Bereich bietet, sondern auch eine dynamische und unterstützende Arbeitsumgebung schafft. Wir fördern eine Kultur des kontinuierlichen Lernens und der beruflichen Weiterentwicklung, indem wir unseren Mitarbeitern Zugang zu Schulungen und Ressourcen bieten, um ihre Fähigkeiten zu erweitern. Darüber hinaus profitieren unsere Mitarbeiter von flexiblen Arbeitszeiten und einem modernen Arbeitsplatz in einer inspirierenden Umgebung, die Kreativität und Zusammenarbeit anregt.
StudySmarter Expertenrat🤫
Wir sind der Meinung, dass Sie so Data Engineer / Apache Spark Performance OptimizationSpecialist (m/w/d) 100% erhalten könnten
✨Wende dich an die richtigen Communities
Schau dir Online-Communities und Foren an, die sich um Data Science drehen, wie Kaggle oder GitHub. Engagiere dich dort aktiv, teile deine Projekte und lerne von anderen – das wird dir helfen, nicht nur einen Fuß in die Tür zu bekommen, sondern auch wertvolle Kontakte zu knüpfen.
✨Präsentiere deine Daten-Projekte
Baue ein Portfolio auf, das deine besten Projekte zeigt. Nutze Plattformen wie GitHub oder eine persönliche Webseite, um deine Arbeiten zu veröffentlichen. Arbeitgeber im Data Science-Bereich schauen oft direkt auf praktische Erfahrungen, also zeig, was du drauf hast!
✨Nimm an Meetups und Hackathons teil
Besuche lokale Data Science-Meetups oder nehme an Hackathons teil. Diese Veranstaltungen sind nicht nur super, um dein Wissen zu erweitern, sondern auch Gold wert für Networking. Du lernst Fachkollegen kennen und kannst auf Lockere Art und Weise Eventualjobs ergattern.
✨Direkte Bewerbungen über unsere Seite
Vergiss nicht, direkt auf unserer Website nach Stellenangeboten bei Randstad - High priority zu schauen. Hier kannst du dich auf offene Datenwissenschaftsstellen bewerben und zeigst damit direktes Interesse, das viele Arbeitgeber schätzen!
Wir glauben, dass du diese Fähigkeiten brauchst, um Data Engineer / Apache Spark Performance OptimizationSpecialist (m/w/d) 100% mit Bravour zu bestehen
Einige Tipps für deine Bewerbung 🫡
Lass deine Daten sprechen!:In einem Bereich wie Data Science ist es entscheidend, dass du deine praktischen Fähigkeiten präsentierst. Wenn du an Projekten gearbeitet hast, die deine Analysefähigkeiten oder dein Wissen über Machine Learning demonstrieren, teile sie in deinem Lebenslauf oder füge einen Link zu deinem GitHub-Portfolio bei. Die Daten, die du analysiert hast, und die Tools, die du verwendest, sollten klar hervorgehoben werden.
Ergebnisse quantifizieren!:Unterstütze deine Erfahrung mit quantifizierbaren Ergebnissen. Zeige, wie du durch deine Analysen oder Modelle zur Entscheidungsfindung beigetragen hast oder wie deine Berechnungen den Rohdaten neue Erkenntnisse entlockt haben. Arbeitgeber in der Data Science sind oft an konkreten Verbesserungen und Effizienzsteigerungen interessiert!
Erläutere deine Lernbereitschaft!:Da es sich um eine Vollzeitstelle handelt, zeige in deinem Anschreiben, dass du bereit bist, zu lernen und dich weiterzuentwickeln. Sprich über deine Neugier für neue Technologien oder Methoden im Data Science Bereich. Vielleicht hast du auch Kurse besucht oder Zertifikate erworben, die deine Begeisterung zeigen!
Die richtige technische Sprache!:Achte darauf, dass deine Bewerbung alle relevanten technischen Begriffe enthält, die in der Data Science gebräuchlich sind. Nenne spezifische Programmier- und Analysetools wie Python, R oder SQL, die du beherrschst. Dies macht es für die Rekrutierer einfacher, schnell zu erkennen, dass du für die Rolle als Data Engineer / Apache Spark Performance OptimizationSpecialist (m/w/d) 100% bei Randstad - High priority gut geeignet bist.
Wie man sich auf ein Vorstellungsgespräch bei Randstad - High priority vorbereitet
✨Bereite deine technischen Skills vor
In einem Vorstellungsgespräch für eine Data-Science-Position wird oft dein Wissen über Tools wie Python, R oder SQL getestet. Mach dich mit gängigen Algorithmen und deren Einsatzmöglichkeiten vertraut, denn technische Fragen können schnell kommen. Lass uns sicherstellen, dass du in diesen Bereichen glänzt!
✨Verschaffe dir einen Überblick über Projekte
Da es sich um eine Vollzeitstelle handelt, ist es wichtig, dass du konkrete Erfahrungen und Projekte vorweisen kannst. Wenn du bereits an Data-Science-Projekten gearbeitet hast, sei bereit, diese in der Tiefe zu erläutern und zu diskutieren, wie du die Probleme gelöst hast. Dein Portfolio kann hier einen echten Unterschied machen!
✨Vorbereitung auf case studies
In Data-Science-Interviews sind case studies und praktische Probleme häufig Teil des Gesprächs. Übe, wie du strukturiert und logisch an solche Aufgaben herangehst. Arbeitgeber möchten sehen, wie du Daten analysierst und Lösungen entwickelst – bring also deine analytischen Fähigkeiten mit!
✨Zeige deine Leidenschaft für Daten
Mehr denn je geht es bei einer Vollzeitstelle darum, dass du nicht nur die Skills hast, sondern auch wirklich für das Feld brennst. Teile Anekdoten oder Erfahrungen, die zeigen, wie du zur Datenwissenschaft gekommen bist und was dich fasziniert. Diese Begeisterung kann für Randstad - High priority entscheidend sein!
