Data Engineer, ML Data Pipelines & Versioned Datasets

Data Engineer, ML Data Pipelines & Versioned Datasets

Vollzeit 49500 - 60500 € / Jahr (geschätzt) Hybrid
H

Auf einen Blick

  • Aufgaben: Entwickle effiziente Datenpipelines für unstrukturierte Daten und unterstütze ML-Modelle.
  • Unternehmen: Harmattan AI, ein innovatives Unternehmen im Verteidigungssektor mit ethischen Werten.
  • Vorteile: Wettbewerbsfähiges Gehalt, spannende Projekte und die Möglichkeit, an der Zukunft der Verteidigung zu arbeiten.
  • Weitere Informationen: Dynamisches Umfeld mit echten Einflussmöglichkeiten und Karrierechancen.
  • Warum dieser Job: Gestalte die Zukunft autonomer Verteidigungssysteme und arbeite mit modernster Technologie.
  • Qualifikationen: Erfahrung in der Datenverarbeitung und starke Python-Kenntnisse sind erforderlich.

Das prognostizierte Gehalt liegt zwischen 49500 - 60500 € pro Jahr.

Harmattan AI ist ein Unternehmen der nächsten Generation, das autonome und skalierbare Verteidigungssysteme entwickelt. Nach dem Abschluss einer Finanzierungsrunde über 200 Millionen Dollar, die das Unternehmen mit 1,4 Milliarden Dollar bewertet, erweitern wir unsere Teams und Fähigkeiten, um mission-kritische Systeme für verbündete Streitkräfte bereitzustellen.

Unsere Arbeit wird von klaren Werten geleitet: Technologien mit echtem Einfluss zu entwickeln, Exzellenz in allem, was wir tun, anzustreben, ehrgeizige Ziele zu setzen und die schwierigsten technischen Herausforderungen anzugehen. Wir arbeiten in einem anspruchsvollen Umfeld, in dem Rigorosität, Eigenverantwortung und Ausführung erwartet werden.

ÜBER DIE ROLLE

Unsere ML-Teams trainieren Modelle auf Datensätzen, die aus großen Mengen roher, unstrukturierter Daten abgeleitet sind. Die Modellqualität hängt direkt von der Datenqualität ab, und heute wird diese Daten größtenteils manuell verarbeitet.

Als Data Engineer, der in Paris, Lausanne oder Zürich arbeitet, sind Sie verantwortlich für die Datenebene, die die Modelle des Teams speist, von rohen Feldprotokollen oder öffentlichen Datensätzen bis hin zu kuratierten, versionierten, trainingsbereiten Datensätzen. Sie verwalten Terabytes roher, unstrukturierter Daten und verwandeln sie in saubere, dokumentierte, versionierte Datensätze, damit die Modellierer ihre Zeit mit dem Entwerfen und Trainieren von Modellen verbringen können, anstatt auf Datenlader oder das Bereinigen beschädigter Dateien zu warten. Sie treten in einem frühen Stadium bei und haben echten Einfluss darauf, wie Feld- und öffentliche Daten für Deep-Learning-Pipelines verarbeitet werden.

VERANTWORTUNGEN

  • Ingestion Pipeline: Ingestieren, dekodieren und speichern Sie rohe, unstrukturierte Felddaten (Video und andere Sensorströme) aus Feldprotokollen in effizienten, kontrollierten Formaten.
  • Multimodale Ausrichtung: Richten Sie mehrere Datenströme zeitlich und räumlich aus, damit gekoppelte Daten für das Training verwendbar sind.
  • Kuration: Übertragen Sie sowohl ingestierte Daten als auch öffentliche Datensätze in hochwertige Daten, einschließlich Parsing, Filtern, Duplikatsentfernung und Revision.
  • Datenkennzeichnungsanforderungen: Definieren Sie, welche Daten gesammelt werden sollen und wie sie gekennzeichnet werden, und übernehmen Sie den Workflow zur Erstellung von Datensätzen und die Kennzeichnungstools. Koordinieren Sie sich mit den Teams, die für die Datensammlung und -kennzeichnung verantwortlich sind.
  • Datensatzkonstruktion: Erstellen Sie aufgabenspezifische Datensätze für die Trainings- und Evaluierungsbedürfnisse des Teams in Zusammenarbeit mit Akquisitions-, Annotierungs- und Produktteams.
  • Versionierung und Herkunft: Versionieren Sie Datensätze und pflegen Sie die Herkunft, damit Trainingsläufe reproduzierbar bleiben.
  • Speicherformate: Speichern Sie Daten in effizienten, trainingsbereiten Formaten (wie spaltenbasierten oder sharded Formaten) und verwalten Sie die Speicherung, um Kosten und Latenz beim Wachstum der Datensätze auszubalancieren.
  • Effiziente Lieferung: Liefern Sie saubere, dokumentierte Datensätze und die entsprechenden Tools zum Laden, um das Training nicht I/O-gebunden zu machen, und gestalten Sie deren Struktur gemeinsam mit den Modellierern.

ANFORDERUNGEN AN DEN KANDIDATEN

  • Bildungsweg: Ein Abschluss in einem MINT-Fach oder gleichwertige praktische Erfahrung. Praktische Erfahrung im Bereich Datenengineering ist wichtiger als der spezifische Abschluss.
  • Datenpipelines in großem Maßstab: Aufbau und Wartung von Pipelines für unstrukturierte Daten in großem Maßstab (Video, Bilder oder Sensordaten), einschließlich Ingestion, Dekodierung, Speicherung, Kuration und Versionierung.
  • Engineering: Starke Kenntnisse in Python und Datenengineering sowie die Fähigkeit, Datenlader für gängige Trainingsframeworks (z. B. PyTorch) zu optimieren.
  • Bonus: Multimodale Sensordaten, Kennzeichnung oder Datensatzkonstruktion für ML, Werkzeuge zur Versionierung von Datensätzen und Werkzeuge zur verteilten Datenverarbeitung.
  • Attribute: Systematisch, qualitätsbewusst, pragmatisch und serviceorientiert, damit die Modellierer unterstützt werden, mit einem Talent dafür, unordentliche Daten durch Automatisierung zu bändigen.
  • Engagement: 100%ige Hingabe an die Mission von Harmattan AI, den verbündeten Nationen durch ethische, wirkungsvolle Technologie einen Verteidigungs-Vorteil zu verschaffen.

Wir freuen uns darauf, zu hören, wie Sie die Zukunft autonomer Verteidigungssysteme bei Harmattan AI mitgestalten können.

Data Engineer, ML Data Pipelines & Versioned Datasets Arbeitgeber: Harmattan AI

Harmattan AI ist ein hervorragender Arbeitgeber, der seinen Mitarbeitern die Möglichkeit bietet, an bahnbrechenden Technologien im Bereich der autonomen Verteidigungssysteme zu arbeiten. Mit einem klaren Fokus auf Exzellenz und realen Auswirkungen fördert das Unternehmen eine dynamische Arbeitskultur, in der Teamarbeit und Innovation geschätzt werden. Zudem profitieren Mitarbeiter von umfangreichen Wachstumschancen und der Möglichkeit, an anspruchsvollen Projekten mitzuarbeiten, die einen direkten Einfluss auf die Sicherheit unserer Verbündeten haben.

H

Kontaktdaten:

Harmattan AI Recruiting-Team

StudySmarter Expertenrat🤫

Wir sind der Meinung, dass du so Data Engineer, ML Data Pipelines & Versioned Datasets erhalten könntest

✨Wende dich an die richtigen Communities

Schau dir Online-Communities und Foren an, die sich um Data Science drehen, wie Kaggle oder GitHub. Engagiere dich dort aktiv, teile deine Projekte und lerne von anderen – das wird dir helfen, nicht nur einen Fuß in die Tür zu bekommen, sondern auch wertvolle Kontakte zu knüpfen.

✨Präsentiere deine Daten-Projekte

Baue ein Portfolio auf, das deine besten Projekte zeigt. Nutze Plattformen wie GitHub oder eine persönliche Webseite, um deine Arbeiten zu veröffentlichen. Arbeitgeber im Data Science-Bereich schauen oft direkt auf praktische Erfahrungen, also zeig, was du drauf hast!

✨Nimm an Meetups und Hackathons teil

Besuche lokale Data Science-Meetups oder nehme an Hackathons teil. Diese Veranstaltungen sind nicht nur super, um dein Wissen zu erweitern, sondern auch Gold wert für Networking. Du lernst Fachkollegen kennen und kannst auf Lockere Art und Weise Eventualjobs ergattern.

✨Direkte Bewerbungen über unsere Seite

Vergiss nicht, direkt auf unserer Website nach Stellenangeboten bei Harmattan AI zu schauen. Hier kannst du dich auf offene Datenwissenschaftsstellen bewerben und zeigst damit direktes Interesse, das viele Arbeitgeber schätzen!

Wir glauben, dass du diese Fähigkeiten brauchst, um Data Engineer, ML Data Pipelines & Versioned Datasets mit Bravour zu bestehen

Datenpipelines
Unstrukturierte Datenverarbeitung
Python
Datenlagerung
Datenkuratierung
Versionierung von Datensätzen
Multimodale Datenverarbeitung

Einige Tipps für deine Bewerbung 🫡

Lass deine Daten sprechen!:In einem Bereich wie Data Science ist es entscheidend, dass du deine praktischen Fähigkeiten präsentierst. Wenn du an Projekten gearbeitet hast, die deine Analysefähigkeiten oder dein Wissen über Machine Learning demonstrieren, teile sie in deinem Lebenslauf oder füge einen Link zu deinem GitHub-Portfolio bei. Die Daten, die du analysiert hast, und die Tools, die du verwendest, sollten klar hervorgehoben werden.

Ergebnisse quantifizieren!:Unterstütze deine Erfahrung mit quantifizierbaren Ergebnissen. Zeige, wie du durch deine Analysen oder Modelle zur Entscheidungsfindung beigetragen hast oder wie deine Berechnungen den Rohdaten neue Erkenntnisse entlockt haben. Arbeitgeber in der Data Science sind oft an konkreten Verbesserungen und Effizienzsteigerungen interessiert!

Erläutere deine Lernbereitschaft!:Da es sich um eine Vollzeitstelle handelt, zeige in deinem Anschreiben, dass du bereit bist, zu lernen und dich weiterzuentwickeln. Sprich über deine Neugier für neue Technologien oder Methoden im Data Science Bereich. Vielleicht hast du auch Kurse besucht oder Zertifikate erworben, die deine Begeisterung zeigen!

Die richtige technische Sprache!:Achte darauf, dass deine Bewerbung alle relevanten technischen Begriffe enthält, die in der Data Science gebräuchlich sind. Nenne spezifische Programmier- und Analysetools wie Python, R oder SQL, die du beherrschst. Dies macht es für die Rekrutierer einfacher, schnell zu erkennen, dass du für die Rolle als Data Engineer, ML Data Pipelines & Versioned Datasets bei Harmattan AI gut geeignet bist.

Wie man sich auf ein Vorstellungsgespräch bei Harmattan AI vorbereitet

✨Bereite deine technischen Skills vor

In einem Vorstellungsgespräch für eine Data-Science-Position wird oft dein Wissen über Tools wie Python, R oder SQL getestet. Mach dich mit gängigen Algorithmen und deren Einsatzmöglichkeiten vertraut, denn technische Fragen können schnell kommen. Lass uns sicherstellen, dass du in diesen Bereichen glänzt!

✨Verschaffe dir einen Überblick über Projekte

Da es sich um eine Vollzeitstelle handelt, ist es wichtig, dass du konkrete Erfahrungen und Projekte vorweisen kannst. Wenn du bereits an Data-Science-Projekten gearbeitet hast, sei bereit, diese in der Tiefe zu erläutern und zu diskutieren, wie du die Probleme gelöst hast. Dein Portfolio kann hier einen echten Unterschied machen!

✨Vorbereitung auf case studies

In Data-Science-Interviews sind case studies und praktische Probleme häufig Teil des Gesprächs. Übe, wie du strukturiert und logisch an solche Aufgaben herangehst. Arbeitgeber möchten sehen, wie du Daten analysierst und Lösungen entwickelst – bring also deine analytischen Fähigkeiten mit!

✨Zeige deine Leidenschaft für Daten

Mehr denn je geht es bei einer Vollzeitstelle darum, dass du nicht nur die Skills hast, sondern auch wirklich für das Feld brennst. Teile Anekdoten oder Erfahrungen, die zeigen, wie du zur Datenwissenschaft gekommen bist und was dich fasziniert. Diese Begeisterung kann für Harmattan AI entscheidend sein!