Research Engineer, Data Infrastructure

Über Mistral AI

Bei Mistral AI glauben wir an die Kraft von KI, um Aufgaben zu vereinfachen, Zeit zu sparen und Lernen sowie Kreativität zu fördern. Unsere Technologie ist darauf ausgelegt, nahtlos in den Arbeitsalltag integriert zu werden. Wir demokratisieren KI durch leistungsstarke, optimierte, Open-Source- und hochmoderne Modelle, Produkte und Lösungen. Unsere umfassende KI-Plattform ist darauf ausgelegt, sowohl Unternehmens- als auch persönliche Bedürfnisse zu erfüllen. Unsere Angebote umfassen Le Chat, La Plateforme, Mistral Code und Mistral Compute - eine Suite, die modernste Intelligenz für Endbenutzer bereitstellt. Wir sind ein dynamisches, kollaboratives Team, das leidenschaftlich an KI und ihrem Potenzial zur Transformation der Gesellschaft arbeitet. Unsere vielfältige Belegschaft gedeiht in wettbewerbsintensiven Umgebungen und ist bestrebt, Innovationen voranzutreiben. Unsere Teams sind zwischen Frankreich, USA, UK, Deutschland und Singapur verteilt. Wir sind kreativ, egoarm und teamorientiert. Schließen Sie sich uns an, um Teil eines Pionierunternehmens zu werden, das die Zukunft der KI gestaltet.

Rollenübersicht

Das Data Infrastructure-Team bei Mistral AI entwirft das Rückgrat unseres Trainings- und Feinabstimmungsecosystems für moderne Modelle. Wir bauen die spezialisierten Rechen- und Datenstrukturen auf, die erforderlich sind, um die Entwicklung von KI auf Weltklasse-Niveau zu unterstützen. Unsere Vision ist es, einige der größten Rechenflotten in Produktion zu betreiben und Datenseen sowie Metadatensysteme mit einem Fahrplan in Richtung Exabyte-Architektur aufzubauen. Derzeit befinden wir uns im Prozess des Aufbaus einer leistungsstarken Trainingsplattform, die für massive Skalierung sowohl in On-Premise- als auch in cloud-nativen Kubernetes-Umgebungen konzipiert ist. Wir führen einen strategischen Übergang von der Legacy-Planung zur modernen Orchestrierung. Mit zahlreichen Clustern, die über verschiedene Regionen verteilt sind, konzentrieren wir uns darauf, komplexe Multi-Cluster-Orchestrierung und Cloud-Bursting-Fähigkeiten zu implementieren, um unsere globalen Ressourcen besser zu nutzen und sicherzustellen, dass unsere Forscher nahtlosen Zugang zu Rechenressourcen haben, wo immer sie sich befinden. Unsere Mission ist es, unsere aktuellen Systeme in eine Plattform zu entwickeln, die sowohl langlebig als auch flexibel ist.

Standort: Paris / London (hybrid) oder remote EU/UK mit einem Hub-Tag pro Monat.

Über die Rolle

Diese Rolle konzentriert sich auf den Aufbau und Betrieb der nächsten Generation von Dateninfrastruktur bei Mistral AI. Sie werden ein zentraler Beitragender zu unserer Evolution sein, indem Sie uns helfen, massive Rechenflotten und Speichersysteme zu entwerfen und zu skalieren, die für hohe Leistung und Skalierbarkeit ausgelegt sind. Sie werden uns helfen, in eine Zukunft mit entkoppelten Steuer- und Datenebenen zu gelangen, große Datenverarbeitungs- und Speicherplattformen zu skalieren und gleichzeitig sicheren und geregelten Datenzugang für MLOps und Forschung zu gewährleisten. Sie übernehmen die vollständige Lebenszyklusverantwortung: vom Entwurf der Migration weg von Legacy-Orchestratoren bis hin zur Implementierung produktionsgerechter Pipelines und der Teilnahme an Bereitschaftsdiensten für kritische Trainingsjobs.

• Aufbauen & Skalieren: Helfen Sie uns, unser Ziel zu erreichen, massive verteilte Rechen- und Speichersysteme zu betreiben.
• Globale Orchestrierung: Entwerfen und pflegen Sie Multi-Cluster-Orchestrierungsschichten, um die Arbeitslastverteilung über verschiedene Hardware und Regionen zu optimieren.
• Zukunftssichere Speicherung: Entwerfen Sie unseren Übergang zu modernen Speicherformaten, um Feinabstimmungsdatensätze in einem Maßstab zu handhaben, der ein Exabyte-Wachstum antizipiert.
• Plattformengineering: Tragen Sie zur Entwicklung unserer internen Trainingsplattform bei, um nahtlose Modelltrainings- und Feinabstimmungsmöglichkeiten in Kubernetes- und SLURM-basierten Umgebungen zu gewährleisten.
• Metadaten & Herkunft: Implementieren und verwalten Sie Systeme, um klare Sichtbarkeit und Herkunft zu bieten, während unsere Daten- und Modellpipelines in der Komplexität wachsen.
• Betriebliche Exzellenz: Verwenden Sie moderne Bereitstellungs-Workflows, um cloud-native Bereitstellungen zu verwalten und sicherzustellen, dass unsere Datenplattform um Größenordnungen skalieren kann, während sie zuverlässig und effizient bleibt.

Sie könnten in dieser Rolle erfolgreich sein, wenn Sie:

• Über 4 Jahre Erfahrung in Dateninfrastruktur, MLOps oder Infrastrukturengineering verfügen.
• Erfahrung oder ein starkes Interesse daran haben, grundlegende Rechen- und Speicherplattformen zu unterstützen.
• In Python versiert sind und gerne das Problem des "brüchigen Datensees" mit modernen, spaltenbasierten Speicherstandards lösen.
• Gut mit Kubernetes-nativen Werkzeugen vertraut sind und begeistert große verteilte Systeme in Multi-Cluster-Umgebungen debuggen.
• Stolz darauf sind, skalierbare, zuverlässige und sichere Systeme von Grund auf zu bauen und zu betreiben.
• Sich mit Unklarheiten und den Herausforderungen des Aufbaus einer hochskalierbaren Infrastruktur in einem schnell wachsenden KI-Umfeld wohlfühlen.

Vorteile

Frankreich

• Bargeldgehalt und Aktienoptionen
• Essen: Tägliche Essensgutscheine
• Sport: Monatlicher Beitrag zu einem Gympass-Abonnement
• Transport: Monatlicher Beitrag zu einem Mobilitätspass
• Gesundheit: Vollständige Krankenversicherung für Sie und Ihre Familie
• Elternzeit: Großzügige Elternzeitregelung
• Visumsponsoring

Vereinigtes Königreich

• Bargeldgehalt und Aktienoptionen
• Versicherung
• Transport: Erstattung der Büroparkgebühren oder £90 pro Monat für öffentliche Verkehrsmittel
• Sport: £90 pro Monat Erstattung für die Mitgliedschaft im Fitnessstudio
• Essensgutschein: £200 monatliches Budget für Mahlzeiten
• Pensionsplan: SmartPension (5% Mitarbeiter & 3% Arbeitgeber)