Research Engineer (Agentic Models)

Bei JetBrains ist Code unsere Leidenschaft. Seit unserer Gründung im Jahr 2000 streben wir danach, die stärksten und effektivsten Entwicklerwerkzeuge der Welt zu schaffen. Heute werden KI-gestützte Assistenzsysteme und Agenten zu einem zentralen Bestandteil der Arbeitsweise von Entwicklern in unseren IDEs. Wir entwickeln mehrstufige Codierungsagenten, die große Codebasen verstehen, Änderungen planen, Werkzeuge aufrufen und mit dem Benutzer iterieren können.

Als Research Engineer im Team für Agentic Models sind Sie verantwortlich für die Modelle, Trainingsschleifen und Evaluationspipelines, die diese Agenten antreiben. Sie arbeiten an der Schnittstelle von SFT und RL-Post-Training sowie produktgetriebener Evaluation und nutzen unsere verteilten GPU- und MapReduce-Cluster, um Modelle in JetBrains-Produkte zu integrieren.

Zu Ihren Aufgaben gehören:

• Entwurf, Implementierung und Wartung von SFT- und RL-Post-Training-Pipelines für mehrstufige Codierungsagenten.
• Training und Anpassung von LLMs für Agenten-Workflows, einschließlich Planung, Werkzeugnutzung und mehrstufigen Interaktionen innerhalb der JetBrains-IDEs.
• Aufbau und Entwicklung von Evaluations- und Simulationsumgebungen, in denen Codierungsagenten agieren, gemessen und mit realistischen Entwickleraufgaben verglichen werden können.
• Entwurf von Evaluierungsrahmen und Metriken für das Verhalten von Agenten, Analyse von Protokollen und Logs sowie Rückführung der Ergebnisse in Training, Daten und Belohnungsdesign.
• Analyse von Trainings- und Evaluierungsergebnissen zur Vorschlag und Implementierung von Verbesserungen an Modellarchitekturen, Trainingsrezepten und Datensätzen.
• Arbeiten mit großangelegter Infrastruktur, einschließlich verteiltem Training auf GPU-Clustern und großem MapReduce-ähnlichem Datenverarbeitung für Vortraining und Feinabstimmung von Datensätzen.
• Enge Zusammenarbeit mit Forschungs-, Produkt- und Infrastrukturteams, um hochrangige Produktvisionen in konkrete Modelle, Experimente und ausgelieferte Funktionen umzusetzen.

Wir freuen uns, Sie an Bord zu holen, wenn Sie:

• Umfangreiche praktische Erfahrung im Training von LLMs (Vortraining, Feinabstimmung oder Post-Training) in einer Forschungs- oder Produktionsumgebung haben.
• Tiefe Expertise in modernen Deep-Learning-Frameworks wie PyTorch und spezialisierten LLM-Trainingsstacks (z.B. Megatron, NeMo, verl oder ähnlich).
• Starkes theoretisches und praktisches Verständnis der Grundlagen von LLMs: Architekturen, Tokenisierung, Datenpipelines, Batching, gemischte Präzision, verteiltes Training und Debugging instabiler Abläufe.
• Die Fähigkeit haben, Projekte von Anfang bis Ende zu leiten, beginnend mit einem hochrangigen Problem oder Produktproblem und es durch die Phasen Design, Experimentierung, Implementierung und Iteration zu überwachen.
• Ein produktbewusstes Mindset haben – Ihnen liegt am Herzen, wie Entwickler tatsächlich Agenten nutzen, und Sie können Produktbedürfnisse und Fehlerquellen in Modellierungs- und Evaluierungsarbeiten übersetzen.
• Mindestens 3 Jahre Erfahrung mit Python haben und sauberen, wartbaren Code in modernen ML-Codebasen schreiben.

Unser idealer Kandidat hätte Erfahrung mit:

• ML-Orchestratoren und Workflow-Tools wie Kubeflow, Dagster, Airflow, ZenML und/oder Job-Schedulern wie Kubernetes oder SLURM.
• Großangelegten Daten- und Trainingspipelines, z.B. MapReduce-ähnlichen Clustern, Multi-Node-GPU-Training oder Workloads im Bereich von 1M+ CPU/GPU-Stunden.
• Entwurf und Wartung von Evaluationspipelines für LLMs oder Agenten, einschließlich Metriken, Dashboards, Experimentverfolgung und automatisierten Regressionstests.
• Entwicklung von KI-Agenten, wie z.B. werkzeugbenutzende Agenten, Planer oder mehrstufige Codierungs-Workflows, sowie Vertrautheit mit agentischen Frameworks oder Mustern.
• Experimentverfolgung und Beobachtbarkeit mit Tools wie Weights & Biases, MLflow, Langfuse oder ähnlichem.
• Optimierung der Inferenz und Bereitstellung optimierter Modelle in der Produktion.

Wir sind ein Arbeitgeber, der Chancengleichheit bietet. Wir wissen, dass großartige Ideen von jedem, überall kommen können. Deshalb tun wir unser Bestes, um einen offenen und integrativen Arbeitsplatz zu schaffen – einen, der jeden willkommen heißt, unabhängig von Hintergrund, Identität, Religion, Alter, Zugänglichkeitsbedürfnissen oder Orientierung.