Senior Research Engineer / Research Scientist - Post-Training, Reinforcement Learning & Training Sys

Giotto.ai ist ein in der Schweiz ansässiges KI-Unternehmen, das Intelligenzsysteme für die Schweiz und Europa entwickelt. Unsere Mission ist es, Regierungen und Unternehmen zu ermöglichen, die Kontrolle über die KI-Systeme, die sie verwenden, zu behalten, ohne auf fortschrittliche Denkfähigkeiten verzichten zu müssen. Giotto kombiniert tragbare, konfigurierbare Modelle mit einem KI-Betriebssystem, das offene und proprietäre Gewichte, Datensätze, Werkzeuge und Bereitstellungskomponenten integriert.

Wir suchen einen Senior Research Engineer oder Research Scientist, der die Trainings- und Optimierungsseite unseres gesamten Post-Training-Stacks verantwortet. Ausgehend von vortrainierten Checkpoints werden Sie die Methoden entwerfen, implementieren, skalieren und betreiben, die erforderlich sind, um fähige, zuverlässige und kontrollierbare Produktionsmodelle zu erzeugen.

Ihr Aufgabenbereich umfasst:

• Die Verantwortung für die End-to-End-Post-Training-Pipeline vom vortrainierten Checkpoint bis zum Produktionskandidaten.
• Das Entwerfen und Ausführen von vollparametrischem und parameter-effizientem SFT.
• Die Implementierung von Präferenzoptimierung, RLHF, RLAIF, Reinforcement Learning mit überprüfbaren Belohnungen und verwandten Methoden.
• Die Entwicklung von Trainingsstrategien für Denken, Programmierung, Werkzeugnutzung, mehrsprachiges Verhalten und langfristige Agentenaufgaben.
• Die Integration von Belohnungsmodellen, Prüfern, Kritikern, Bewertenden und prozess- oder ergebnisbasierten Belohnungen.
• Der Aufbau skalierbarer Rollout-Generierungssysteme für iterative und on-policy Trainings.
• Das Entwerfen von mehrstufigen Lehrplänen, die SFT, Reinforcement Learning, Ablehnungsstichproben, Destillation und Politikkonsolidierung kombinieren.
• Die Skalierung des Trainings über mehrere Maschinen und Beschleuniger unter Verwendung geeigneter Kombinationen von Daten, Tensoren, Pipelines, Sequenzen, Kontext oder Expertenparallelismus.
• Die Auswahl von Sharding-, Präzisions-, Checkpoint-, Optimierer-, Batch-Größe-, Sequenz-Längen- und Aktivierungs-Recomputationsstrategien.
• Die Schätzung von Speicher-, Kommunikations-, Durchsatz-, Rollout-Kapazitäts- und Rechenanforderungen vor dem Start größerer Läufe.
• Die Profilierung und Verbesserung der Nutzung von Beschleunigern, der Kommunikationseffizienz, des Datenladens und der End-to-End-Trainingszeit.
• Die Diagnose von numerischer Instabilität, Kommunikationsfehlern, Out-of-Memory-Fehlern, Stragglers, Checkpoint-Problemen und Konvergenzregressionen.
• Die Untersuchung von Belohnungshacking, Entropiekollaps, KL-Abdrift, veralteten Rollouts, Modus-Kollaps, Bewerterausnutzung und Benchmark-Overfitting.
• Der Aufbau zuverlässiger Checkpointing-, Wiederherstellungs-, Überwachungs- und Reproduzierbarkeitsverfahren.
• Die enge Zusammenarbeit mit Daten-, Evaluierungs-, Infrastruktur- und Inferenzteams.
• Die Bereitstellung von sauberem, getesteten Code, technischen Berichten und operativen Handbüchern.

Wir suchen nach nachgewiesener Erfahrung in den meisten der folgenden Bereiche:

• Verantwortung für das Training von großangelegten Sprachmodellen oder Post-Training-Läufen über mehrere Maschinen und Beschleuniger.
• Erfahrung mit Workloads, bei denen einfaches Training auf einem einzelnen Knoten oder reine Datenparallelität nicht ausreichten.
• Tiefe Kenntnisse in Python, PyTorch, Autograd, gemischter Präzision, Optimierung und verteilter Ausführung.
• Praktische Erfahrung mit PyTorch Distributed, FSDP, DeepSpeed, Megatron-Core oder einem gleichwertigen Framework.
• Fähigkeit zur Auswahl von Parallelisierungs- und Sharding-Strategien basierend auf Modell-, Sequenz-, Speicher- und Netzwerkbeschränkungen.
• Starkes Verständnis von SFT, Präferenzoptimierung, Reinforcement Learning, Belohnungsmodellierung, KL-Regularisierung, Sampling und Trainingsstabilität.
• Erfahrung im Betrieb von Hochdurchsatz-Inferenz- oder Rollout-Systemen als Teil eines Trainingsloops.
• Fähigkeit, über Modellcode, verteilte Kommunikation, numerische Optimierung, Daten und Infrastruktur hinweg zu debuggen.
• Starkes experimentelles Design und die Fähigkeit, algorithmische Verbesserungen von Evaluierungs- oder Systemartefakten zu unterscheiden.
• Erfahrung im Aufbau zuverlässiger, beobachtbarer und reproduzierbarer Forschungssoftware.
• Persönliche Verantwortung für entscheidende Entscheidungen, die ein erhebliches Trainingsprogramm betreffen.

Relevanter Stack:

• Python und PyTorch.
• PyTorch Distributed und FSDP.
• DeepSpeed, Megatron-Core oder vergleichbare Frameworks.
• Hugging Face Transformers.
• CUDA und NCCL.
• vLLM, SGLang oder ähnliche Rollout-Engines.
• Ray, Slurm, Kubernetes oder vergleichbare Orchestrierungssysteme.
• MLflow oder Weights & Biases.
• Docker, GCP, GitLab CI, Profilierung, Überwachung und pytest.
• Erfahrung mit CUDA oder Triton, Langzeitkontexttraining, spärlichen Modellen, asynchronem RL, zustandsbehafteten Agentenumgebungen, Destillation oder bereitstellungsbewusstem Post-Training wäre besonders wertvoll.

Sie könnten gut passen, wenn Sie:

• Gerne an der Schnittstelle zwischen Modellforschung und verteilten Systemen arbeiten.
• Von der Papierreproduktion zur zuverlässigen skalierbaren Implementierung wechseln können.
• Komfortabel damit sind, Verantwortung für teure und betrieblich anspruchsvolle Experimente zu übernehmen.
• Fehler methodisch in Bezug auf Algorithmen, Daten, numerische Stabilität und Infrastruktur angehen.
• Wert auf gehaltene Fähigkeiten und Zuverlässigkeit legen, nicht nur auf Trainingsverlust oder Belohnung.
• Eine bedeutende Verantwortung für ein komplettes Modellprogramm wünschen.

Standort und Arbeitsstil:

• Wir bieten eine Vollzeitbeschäftigung in der Schweiz.
• Remote-Arbeit wird unterstützt.
• Das Team trifft sich etwa eine Woche pro Monat in einem Schweizer Büro.
• Außergewöhnliche Kandidaten aus anderen Teilen Europas können ebenfalls in Betracht gezogen werden.