Staff Software Engineer - Apache Iceberg

Bereich: Engineering

Wir bei Cloudera ermöglichen es Menschen, komplexe Daten in klare und umsetzbare Erkenntnisse zu verwandeln. Mit so vielen verwalteten Daten wie die Hyperscaler sind wir der bevorzugte Datenpartner für die führenden Unternehmen in fast jeder Branche. Angetrieben von der unermüdlichen Innovation der Open-Source-Community, fördert Cloudera die digitale Transformation für die größten Unternehmen der Welt.

Die Data Platform Pillar ist das Fundament von Clouderas Technologie, wo wir die Kernkomponenten entwerfen und bauen, die es unseren Kunden ermöglichen, Daten mit unvergleichlicher Skalierbarkeit, Sicherheit und Leistung zu speichern, zu verwalten und zu verarbeiten. Schließen Sie sich der Spitze der Big Data-Innovation bei Cloudera an!

Wir suchen einen visionären Staff Engineer, der die Verantwortung für die nächste Generation unserer unternehmensgerechten Apache Iceberg-Distribution übernimmt. Dies ist eine seltene Gelegenheit, das System zu entwerfen, zu gestalten und zu skalieren, das die Datenverarbeitung für die größten Unternehmen der Welt antreibt und Petabytes von Daten über Tausende von Knoten verwaltet.

Wenn Sie ein erfahrener Leiter in verteilten Systemen und Datenverarbeitung sind, bereit sind, massive Auswirkungen zu erzielen und die Zukunft des Data Engineering zu definieren, beginnt Ihre Mission hier. Dies ist Ihre Chance, Lösungen zu entwerfen, die für die Verwaltung von Petabyte (PB) großen Datensätzen über Multi-Cloud-Umgebungen verantwortlich sind. Sie werden tiefgehende technische Erfahrungen in komplexen Big Data-Anwendungsfällen sammeln und die einzigartige Gelegenheit nutzen, ein Kernbeitragender zur lebendigen Apache Iceberg Open-Source-Community zu werden und direkt den Verlauf des Projekts zu beeinflussen.

Als Staff Engineer werden Sie:

• Die Zukunft der Datenarchitektur vorantreiben, indem Sie ein Kernbeitragender zu Apache Iceberg, dem Open-Source-Projekt, das moderne Datenseen definiert, werden.
• Leistungsverbesserungen für alle Engines im Cloudera-Stack bringen, indem Sie neue Funktionen in Iceberg implementieren und mit anderen Teams zusammenarbeiten, um diese während Abfragen zu nutzen.
• Mit Produktmanagern und Kunden zusammenarbeiten, um herauszufinden, wie Iceberg für moderne Datenseen verbessert werden kann.
• Neue Funktionen in Java auf modernen Plattformen entwickeln.
• Ein solides Verständnis und tiefes technisches Wissen über Komponenten im Cloudera-Stack erlangen, wobei der Fokus auf Iceberg liegt, das Sie in Ihren täglichen Aufgaben nutzen können.
• An massiven verteilten Systemen arbeiten, die von 100 bis 1000 Knoten in Produktionsclustern reichen und die Fähigkeiten von Iceberg zur Handhabung von PB-großen Datenarchitekturen nutzen.
• Systemebene Bereitstellungsprobleme debuggen, Ursachenanalysen durchführen, Systemtests analysieren und Fehler beheben.
• Mit anderen Teammitgliedern und Stakeholdern zusammenarbeiten.

Wir freuen uns, wenn Sie folgende Erfahrungen mitbringen:

• Abschluss in Informatik oder einem verwandten Bereich und 6+ Jahre Erfahrung; ODER Master-Abschluss und 4-6 Jahre Erfahrung; ODER Doktortitel und 2-4 Jahre Erfahrung.
• Praktische Programmiererfahrung mit soliden Datenstrukturen und Algorithmen.
• Erfahrung in Systemdesign und -entwicklung.
• Starkes Verständnis von mindestens einer der folgenden Sprachen: Java, Scala, C++, Python. Und Interesse daran, die Sprachen zu lernen, die wir verwenden.
• Leidenschaft für Programmierung, saubere Codierungsgewohnheiten, Aufmerksamkeit für Details und Fokus auf Qualität.
• Starke Fähigkeit, Probleme unabhängig zu recherchieren und zu lösen, ohne ständige Aufsicht.
• Fähigkeit, sowohl unabhängig als auch als Teil eines internationalen und virtuellen Teams effektiv zu arbeiten.
• Exzellente Kommunikations- und Zusammenarbeitfähigkeiten.
• (Am wichtigsten) Offene Einstellung, Wunsch, neue Dinge zu lernen und großartige Produkte zu entwickeln.

Sie könnten Folgendes haben:

• Erfahrung mit der Nutzung/Entwicklung von Apache Iceberg oder anderen verwandten Technologien.
• Erfahrung (oder nachgewiesenes Interesse) an verteiltem Rechnen oder Hochverfügbarkeitssystemen.
• Beiträge zu Open-Source-Projekten.
• Erfahrung mit SQL-Optimierung, von der Analyse von Abfrageplänen bis zur Implementierung von Optimierungen in SQL-Engines.

Warum diese Rolle wichtig ist: Sie werden komplexe Herausforderungen in verteilten Systemen angehen und die grundlegende Software für die Steuerungs- und Datenebenen entwickeln, die CDP antreiben und im großen Maßstab am Laufen halten. Arbeiten Sie an der Spitze der Hybrid- und Multi-Cloud-Technologie, um Datenwissenschaftler, Ingenieure und Analysten mit den Tools und Infrastrukturen auszustatten, die sie für fortgeschrittene Analysen und Modellierungen benötigen. Zusammenarbeit ist der Schlüssel, Sie werden mit brillanten Köpfen aus Produkt, Datenwissenschaft und Technik zusammenarbeiten, um Innovationen voranzutreiben, bewährte Praktiken zu standardisieren und die Zukunft von Unternehmens-AI und Datenplattformen zu gestalten. Dies ist Ihre Chance, die Zukunft der Daten zu gestalten und zu sehen, wie Ihre Arbeit einen globalen Einfluss hat.

Diese Rolle ist nicht für eine Einwanderungssponsoring geeignet.

Der erwartete Grundgehaltsbereich für diese Rolle in Washington liegt bei 184.000 - 230.000 USD. Das Gehalt variiert je nach Ihren berufsbezogenen Fähigkeiten, Erfahrungen und Standort.

Was Sie von uns erwarten können:

• Großzügige PTO-Richtlinie.
• Unterstützung der Work-Life-Balance mit Unplugged Days.
• Flexibles WFH-Modell.
• Programme für mentale und körperliche Gesundheit.
• Telefon- und Internetvergütungsprogramm.
• Zugang zu kontinuierlicher beruflicher Entwicklung.
• Umfassende Leistungen und wettbewerbsfähige Pakete.
• Bezahlte Freiwilligenzeit.
• Mitarbeiterressourcengruppen.

Standort: US-Washington-Remote; UK-Remote; Spanien-Anderes-Remote; Deutschland-Remote; Irland-Remote

Typ: Vollzeit