AI Research Engineer - Pre training

Diese Rolle befindet sich im Kern der Entwicklung von KI-Modellen der nächsten Generation und konzentriert sich auf die Verbesserung großangelegter Vortraining-Systeme, die moderne Intelligenz antreiben. Sie werden an modernen Architekturen arbeiten, die kleine, große und multimodale Modelle umfassen, und direkt die Fähigkeit, Effizienz und Skalierbarkeit der Modelle beeinflussen. In einer stark forschungsgetriebenen und verteilten Ingenieurumgebung werden Sie dazu beitragen, die Grenzen dessen, was moderne KI-Systeme erreichen können, zu erweitern. Die Position kombiniert tiefgehende wissenschaftliche Erkundung mit praktischer Ingenieursarbeit an massiven GPU-Clustern. Sie werden Trainingspipelines entwerfen und optimieren, die über Tausende von NVIDIA-GPUs laufen, um die Leistung im großen Maßstab sicherzustellen. Dies ist eine Gelegenheit, zu grundlegenden KI-Durchbrüchen beizutragen, während Sie mit erstklassigen Forschern und Ingenieuren in einem schnelllebigen, innovationsorientierten Umfeld zusammenarbeiten.

Verantwortlichkeiten

• Durchführung von großangelegtem Vortraining von KI-Modellen auf verteilten GPU-Clustern, um Skalierbarkeit, Stabilität und Leistung sicherzustellen
• Entwurf, Prototyping und Optimierung neuartiger Modellarchitekturen, einschließlich Transformer- und Nicht-Transformer-Ansätzen
• Durchführung von Experimenten, Analyse von Ergebnissen und Verfeinerung von Methoden zur Verbesserung der Trainingseffizienz und Modellqualität
• Identifizierung und Behebung von Engpässen in Trainingssystemen, Datenpipelines und Modellleistung
• Verbesserung der Infrastruktur für verteiltes Training zur Unterstützung von KI-Arbeitslasten der nächsten Generation
• Zusammenarbeit mit Forschern und Ingenieuren, um experimentelle Ideen in produktionsbereite Trainingssysteme zu übersetzen
• Beitrag zur Weiterentwicklung von Hochleistungs-KI-Trainingssystemen und -rahmen

Anforderungen

• PhD oder starker akademischer/forschungsbezogener Hintergrund in Informatik, Maschinellem Lernen, NLP oder verwandten Bereichen (bevorzugt)
• Praktische Erfahrung mit großangelegtem LLM-Vortraining auf verteilter GPU-Infrastruktur (Tausende von GPUs)
• Starkes Verständnis von Transformer-Architekturen und fortgeschrittenen Modellgestaltungs-Techniken
• Erfahrung mit verteilten Trainingsrahmen und großangelegten KI-Systemen
• Kenntnisse in PyTorch und dem Hugging Face-Ökosystem für Modellentwicklung und -training
• Starke Fähigkeiten im Debuggen, Optimieren und Verbessern der Modell- und Systemleistung
• Fähigkeit, Experimente zu entwerfen, Ergebnisse zu interpretieren und Forschungs-Hypothesen zu iterieren
• Starke Zusammenarbeit und Kommunikationsfähigkeiten in forschungsgetriebenen Umgebungen

Vorteile

• Wettbewerbsfähiges Vergütungspaket, das den Standards des KI-Forschungsmarktes entspricht
• Remote-freundliche und global verteilte Arbeitsumgebung
• Gelegenheit, an vorderster Front der KI-Forschung in großem Maßstab zu arbeiten
• Zugang zu Hochleistungsrecheninfrastruktur und großen GPU-Clustern
• Kollaborative Umgebung mit erstklassigen KI-Forschern und Ingenieuren
• Hohe Autonomie in der Forschungsrichtung und Experimentierung
• Einblick in modernste KI-Systeme und die Entwicklung multimodaler Modelle
• Berufliches Wachstum in einem sich schnell entwickelnden, innovationsgetriebenen KI-Ökosystem