Lead AWS Data Bricks Spark/Scala Engineer

Job ID:

Job Location: Remote

Job Travel Location(s):

# Positions: 1

Employment Type: W2

Candidate Constraints:

Duration: Long Term

# of Layers: 0

Work Eligibility: US Permanent Eligibility to Work Required

Key Technology: DataBricks, AWS, Spark

Job Responsibilities

• Data Bricks Architect Profil mit AWS-Kombination.
• Datenmanagement, Lösungserstellung, Datenengineering und ETL-Kompetenz mit dem Data Bricks-Tool / Framework, einschließlich Programmierung mit Spark/Scala.
• Datenmanagement, Migrationserfahrung von anderen Plattformen zu AWS.
• Förderung der Mentalität, gut gestaltete Anwendungen für die AWS-Cloud zu erstellen.
• Förderung der Mentalität, dass Qualität vom gesamten Team getragen wird.
• Identifizierung von Codefehlern und Zusammenarbeit mit Entwicklern zur Behebung von Qualitätsproblemen im Produktcode.
• Ermittlung von Engpässen und Schwellenwerten im bestehenden Code durch den Einsatz von Automatisierungstools.
• Klare Geschäftsziele formulieren, die mit technischen Spezifikationen übereinstimmen, und täglich in einem iterativen agilen Muster arbeiten.
• Eigenverantwortung für Ihre Arbeitsaufgaben und die Fähigkeit, mit allen Ebenen des Teams zu interagieren und Herausforderungen bei Bedarf anzusprechen.

Skills and Experience Required

Required:

• 10+ Jahre Erfahrung in Architektur, Design, Implementierung und Analyse von Lösungen.
• Praktische Entwicklung, Design und Entwicklung von Anwendungen mit Databricks.
• Erfahrung mit Lösungserstellung auf AWS.
• Datenmigrationserfahrung von anderen Plattformen zu AWS.
• Tiefes Verständnis der Spark-Architektur, einschließlich Spark Core, Spark SQL, Data Frames, Spark Streaming, RDD-Caching, Spark MLib.

Desired:

• Erfahrung mit jeder Programmiersprache, SQL, gespeicherten Prozeduren, Spark/Scala.
• Starkes Verständnis von Datenmodellierung und Definition konzeptioneller, logischer und physischer Datenmodelle.
• Fähigkeit, Systemarchitekturen in verschiedenen Umgebungen zu entwerfen und zu demonstrieren.
• Fähigkeit, sowohl mit On-Premises- als auch mit Cloud-Systemen umzugehen.