Data Engineer, ML Data Pipelines & Versioned Datasets in Zürich

Harmattan AI ist ein Unternehmen der nächsten Generation, das autonome und skalierbare Verteidigungssysteme entwickelt. Nach dem Abschluss einer Series B-Finanzierungsrunde über 200 Millionen US-Dollar, die das Unternehmen mit 1,4 Milliarden US-Dollar bewertet, erweitern wir unsere Teams und Fähigkeiten, um mission-kritische Systeme für verbündete Streitkräfte bereitzustellen. Unsere Arbeit wird von klaren Werten geleitet: Technologien mit realer Wirkung zu entwickeln, Exzellenz in allem, was wir tun, zu verfolgen, ehrgeizige Ziele zu setzen und die schwierigsten technischen Herausforderungen anzunehmen. Wir arbeiten in einem anspruchsvollen Umfeld, in dem Rigorosität, Eigenverantwortung und Ausführung erwartet werden.

Unsere ML-Teams trainieren Modelle auf Datensätzen, die aus großen Mengen roher, unstrukturierter Daten abgeleitet sind. Die Modellqualität hängt direkt von der Datenqualität ab, und heute wird diese Daten größtenteils manuell verarbeitet. Als Data Engineer, der in Paris, Lausanne oder Zürich arbeitet, sind Sie verantwortlich für die Datenebene, die die Modelle des Teams speist, von rohen Feldprotokollen oder öffentlichen Datensätzen bis hin zu kuratierten, versionierten, trainingsbereiten Datensätzen. Sie verwalten Terabytes roher, unstrukturierter Daten und verwandeln sie in saubere, dokumentierte, versionierte Datensätze, damit die Modellierer ihre Zeit mit dem Entwerfen und Trainieren von Modellen verbringen können, anstatt auf Datenlader oder das Bereinigen beschädigter Dateien zu warten. Sie treten in einer frühen Phase bei und haben echten Einfluss darauf, wie Feld- und öffentliche Daten für Deep-Learning-Pipelines verarbeitet werden.

VERANTWORTLICHKEITEN

• Datenpipeline: Rohdaten (Video und andere Sensorströme) aus Feldprotokollen effizient, kontrolliert und in geeigneten Formaten speichern.
• Multimodale Ausrichtung: Mehrere Datenströme zeitlich und räumlich so ausrichten, dass gepaarte Daten für das Training nutzbar sind.
• Kuration: Übertragung sowohl der aufgenommenen Daten als auch öffentlicher Datensätze in hochwertige Daten, einschließlich Parsing, Filterung, Duplikatsentfernung und Revision.
• Daten- und Kennzeichnungsanforderungen: Definieren, welche Daten gesammelt werden sollen und wie sie gekennzeichnet werden, sowie den Workflow zur Erstellung von Datensätzen und die Kennzeichnungstools verwalten. Koordination mit den Teams, die für die Datensammlung und -kennzeichnung verantwortlich sind.
• Datensatzkonstruktion: Aufbau von aufgabenbezogenen Datensätzen für die Trainings- und Evaluierungsbedürfnisse des Teams in Zusammenarbeit mit Akquisitions-, Annotierungs- und Produktteams.
• Versionierung & Herkunft: Versionierung von Datensätzen und Pflege der Herkunft, damit Trainingsläufe reproduzierbar bleiben.
• Speicherung & Formate: Speicherung von Daten in effizienten, trainingsbereiten Formaten (wie spaltenbasierten oder sharded Formaten) und Verwaltung der Speicherebenen, um Kosten und Latenz beim Wachstum der Datensätze auszubalancieren.
• Effiziente Lieferung: Bereitstellung sauberer, dokumentierter Datensätze und der entsprechenden Tools zum Laden, um das Training nicht I/O-gebunden zu machen, und Gestaltung ihrer Struktur gemeinsam mit den Modellierern.

ANFORDERUNGEN AN DEN KANDIDATEN

• Bildungsweg: Ein Abschluss in einem MINT-Fachgebiet oder gleichwertige praktische Erfahrung. Praktische Erfahrung im Bereich Datenengineering ist wichtiger als der spezifische Abschluss.
• Datenpipelines in großem Maßstab: Aufbau und Wartung von Pipelines für unstrukturierte Daten in großem Maßstab (Video, Bilder oder Sensordaten), einschließlich Ingestion, Dekodierung, Speicherung, Kuration und Versionierung.
• Engineering: Starke Kenntnisse in Python und Datenengineering sowie die Fähigkeit, Datenlader für gängige Trainingsframeworks (z.B. PyTorch) zu optimieren.
• Bonus: Multimodale Sensordaten, Kennzeichnung oder Datensatzkonstruktion für ML, Werkzeuge zur Versionierung von Datensätzen und Werkzeuge zur verteilten Datenverarbeitung.
• Attribute: Systematisch, qualitätsorientiert, pragmatisch und serviceorientiert, damit die Modellierer unterstützt werden, mit einem Talent dafür, unordentliche Daten durch Automatisierung zu bändigen.
• Engagement: 100%ige Hingabe an die Mission von Harmattan AI, den verbündeten Nationen durch ethische, wirkungsvolle Technologie einen Verteidigungs-Vorteil zu verschaffen.

Wir freuen uns darauf zu hören, wie Sie die Zukunft autonomer Verteidigungssysteme bei Harmattan AI mitgestalten können.