Auf einen Blick
- Aufgaben: Entwickle und optimiere cloud-native Datenpipelines auf AWS mit PySpark.
- Unternehmen: Innovatives Unternehmen, das sich auf Datenplattformmodernisierung spezialisiert hat.
- Vorteile: Attraktives Gehalt, flexible Arbeitszeiten und Weiterbildungsmöglichkeiten.
- Weitere Informationen: Hohe Autonomie und direkte Kommunikation mit Stakeholdern.
- Warum dieser Job: Gestalte die Zukunft der Datenverarbeitung und arbeite direkt mit Kunden zusammen.
- Qualifikationen: Mindestens 3 Jahre Erfahrung in der Datenverarbeitung mit Python und PySpark.
Das prognostizierte Gehalt liegt zwischen 63000 - 77000 € pro Jahr.
Wir suchen einen Senior Data Software Engineer, der einem kundenorientierten Lieferungsteam beitritt, das cloud-native Datenpipelines auf AWS im Rahmen eines Modernisierungsprogramms für Datenplattformen aufbaut und absichert. Die Rolle umfasst das Ingestieren und Transformieren großer Datensätze mit PySpark auf AWS Glue und die Bereitstellung kuratierter, validierter Daten in Snowflake, mit einem Kernfokus auf Datenqualität, Validierung und Abstimmung für nachgelagerte Analysen. Diese Position wird auf Senior Consultant-Ebene mit hoher Autonomie und direkter Kommunikation mit den Kundenstakeholdern angeboten.
Verantwortlichkeiten
- Entwerfen, Erstellen und Optimieren skalierbarer Batch- und inkrementeller ETL/ELT-Pipelines mit PySpark auf AWS Glue
- Konfigurieren von Glue-Jobs, Crawlers, Triggern, Verbindungen, Lesezeichen, Workflows und dem Glue Data Catalog
- Optimieren von Arbeitern, Partitionierung und Shuffle-Verhalten zur Kosten- und Leistungsoptimierung
- Modellieren und Laden kuratierter Datensätze in Snowflake mit Staging-, Transformations- und Veröffentlichungsstufen
- Implementieren automatisierter Datenqualitäts- und Validierungsrahmen, einschließlich Schema-/Vertragsdurchsetzung und Null-/Eindeutigkeits-/Referenzprüfungen
- Entwickeln von Zeilenanzahl- und finanziellen Abstimmungsprozessen, Anomalieerkennung sowie Quarantäne-/Ablehnungsbehandlung
- Konfigurieren und Erweitern von Glue Data Quality (DQDL)-Regeln gemäß den Anforderungen
- Sauberen, modularen, testbaren Python-Code mit Unit-/Integrationstests und wiederverwendbaren Bibliotheken schreiben
- Integrieren von Pipelines mit AWS-Diensten wie S3, IAM, Lambda, Athena, CloudWatch, Step Functions und Secrets Manager
- Instrumentieren von Beobachtbarkeit durch Protokollierung, Metriken, Alarmierung und Überwachung der Pipeline-SLA
- Teilnehmen an Code-Reviews, CI/CD-Automatisierung und Dokumentation
- Direkte Interaktion mit Kundenstakeholdern bei der Anforderungsanalyse, Design-Durchgängen, Statusberichterstattung und als technischer Berater innerhalb des Arbeitsstroms agieren
Anforderungen
- 3+ Jahre Erfahrung mit Python für produktionsrelevante Datenverarbeitung, einschließlich OOP- und funktionalen Mustern
- Expertise in PySpark für verteilte Datenverarbeitung und die DataFrame-API
- Fortgeschrittene Kenntnisse in Snowflake, einschließlich Datenlagerung und Staging-/Transformationsschichten
- Kenntnisse in AWS Glue, einschließlich Jobkonfiguration, Crawlers, Data Catalog und DQDL
- Hintergrund in der Datenqualitätsengineering, einschließlich Validierungsrahmen und Abstimmung
- Kenntnisse in AWS-Diensten, einschließlich S3, IAM, Lambda, Athena und CloudWatch
- Englischkenntnisse auf B2-Niveau oder höher
Wünschenswert:
- Vertrautheit mit Konzepten der generativen KI / LLM
- Kenntnisse in Airflow / Step Functions Orchestrierung
- Vertrautheit mit Great Expectations oder ähnlichen Datenqualitätsrahmen
- Kenntnisse in Terraform / CloudFormation
Senior Data Software Engineer with AWS and Terraform Arbeitgeber: EPAM Systems
EPAM Systems ist ein hervorragender Arbeitgeber, der seinen Mitarbeitern in Zürich eine inspirierende Arbeitsumgebung bietet. Mit großzügigen Vorteilen wie fünf Wochen Urlaub und einem umfassenden Mitarbeiteraktienkaufplan fördert das Unternehmen eine positive Work-Life-Balance und unterstützt die berufliche Weiterentwicklung. Die hybride Arbeitsweise ermöglicht es den Mitarbeitern, flexibel zu arbeiten und gleichzeitig an innovativen Projekten im Bereich KI und Big Data teilzuhaben.
StudySmarter Expertenrat🤫
Wir sind der Meinung, dass du so Senior Data Software Engineer with AWS and Terraform erhalten könntest
✨Wende dich an die richtigen Communities
Schau dir Online-Communities und Foren an, die sich um Data Science drehen, wie Kaggle oder GitHub. Engagiere dich dort aktiv, teile deine Projekte und lerne von anderen – das wird dir helfen, nicht nur einen Fuß in die Tür zu bekommen, sondern auch wertvolle Kontakte zu knüpfen.
✨Präsentiere deine Daten-Projekte
Baue ein Portfolio auf, das deine besten Projekte zeigt. Nutze Plattformen wie GitHub oder eine persönliche Webseite, um deine Arbeiten zu veröffentlichen. Arbeitgeber im Data Science-Bereich schauen oft direkt auf praktische Erfahrungen, also zeig, was du drauf hast!
✨Nimm an Meetups und Hackathons teil
Besuche lokale Data Science-Meetups oder nehme an Hackathons teil. Diese Veranstaltungen sind nicht nur super, um dein Wissen zu erweitern, sondern auch Gold wert für Networking. Du lernst Fachkollegen kennen und kannst auf Lockere Art und Weise Eventualjobs ergattern.
✨Direkte Bewerbungen über unsere Seite
Vergiss nicht, direkt auf unserer Website nach Stellenangeboten bei EPAM Systems zu schauen. Hier kannst du dich auf offene Datenwissenschaftsstellen bewerben und zeigst damit direktes Interesse, das viele Arbeitgeber schätzen!
Wir glauben, dass du diese Fähigkeiten brauchst, um Senior Data Software Engineer with AWS and Terraform mit Bravour zu bestehen
Einige Tipps für deine Bewerbung 🫡
Lass deine Daten sprechen!:In einem Bereich wie Data Science ist es entscheidend, dass du deine praktischen Fähigkeiten präsentierst. Wenn du an Projekten gearbeitet hast, die deine Analysefähigkeiten oder dein Wissen über Machine Learning demonstrieren, teile sie in deinem Lebenslauf oder füge einen Link zu deinem GitHub-Portfolio bei. Die Daten, die du analysiert hast, und die Tools, die du verwendest, sollten klar hervorgehoben werden.
Ergebnisse quantifizieren!:Unterstütze deine Erfahrung mit quantifizierbaren Ergebnissen. Zeige, wie du durch deine Analysen oder Modelle zur Entscheidungsfindung beigetragen hast oder wie deine Berechnungen den Rohdaten neue Erkenntnisse entlockt haben. Arbeitgeber in der Data Science sind oft an konkreten Verbesserungen und Effizienzsteigerungen interessiert!
Erläutere deine Lernbereitschaft!:Da es sich um eine Vollzeitstelle handelt, zeige in deinem Anschreiben, dass du bereit bist, zu lernen und dich weiterzuentwickeln. Sprich über deine Neugier für neue Technologien oder Methoden im Data Science Bereich. Vielleicht hast du auch Kurse besucht oder Zertifikate erworben, die deine Begeisterung zeigen!
Die richtige technische Sprache!:Achte darauf, dass deine Bewerbung alle relevanten technischen Begriffe enthält, die in der Data Science gebräuchlich sind. Nenne spezifische Programmier- und Analysetools wie Python, R oder SQL, die du beherrschst. Dies macht es für die Rekrutierer einfacher, schnell zu erkennen, dass du für die Rolle als Senior Data Software Engineer with AWS and Terraform bei EPAM Systems gut geeignet bist.
Wie man sich auf ein Vorstellungsgespräch bei EPAM Systems vorbereitet
✨Bereite deine technischen Skills vor
In einem Vorstellungsgespräch für eine Data-Science-Position wird oft dein Wissen über Tools wie Python, R oder SQL getestet. Mach dich mit gängigen Algorithmen und deren Einsatzmöglichkeiten vertraut, denn technische Fragen können schnell kommen. Lass uns sicherstellen, dass du in diesen Bereichen glänzt!
✨Verschaffe dir einen Überblick über Projekte
Da es sich um eine Vollzeitstelle handelt, ist es wichtig, dass du konkrete Erfahrungen und Projekte vorweisen kannst. Wenn du bereits an Data-Science-Projekten gearbeitet hast, sei bereit, diese in der Tiefe zu erläutern und zu diskutieren, wie du die Probleme gelöst hast. Dein Portfolio kann hier einen echten Unterschied machen!
✨Vorbereitung auf case studies
In Data-Science-Interviews sind case studies und praktische Probleme häufig Teil des Gesprächs. Übe, wie du strukturiert und logisch an solche Aufgaben herangehst. Arbeitgeber möchten sehen, wie du Daten analysierst und Lösungen entwickelst – bring also deine analytischen Fähigkeiten mit!
✨Zeige deine Leidenschaft für Daten
Mehr denn je geht es bei einer Vollzeitstelle darum, dass du nicht nur die Skills hast, sondern auch wirklich für das Feld brennst. Teile Anekdoten oder Erfahrungen, die zeigen, wie du zur Datenwissenschaft gekommen bist und was dich fasziniert. Diese Begeisterung kann für EPAM Systems entscheidend sein!
