Research Engineer (Agentic Models) (m/f/d)

Bei JetBrains ist Code unsere Leidenschaft. Seit unserer Gründung im Jahr 2000 streben wir danach, die stärksten und effektivsten Entwicklerwerkzeuge der Welt zu schaffen. Heute werden KI-gestützte Assistenzsysteme und Agenten zu einem zentralen Bestandteil der Arbeitsweise von Entwicklern in unseren IDEs. Wir entwickeln mehrstufige Codierungsagenten, die große Codebasen verstehen, Änderungen planen, Werkzeuge aufrufen und mit dem Benutzer iterieren können. Als Research Engineer im Team für Agentic Models sind Sie verantwortlich für die Modelle, Trainingsschleifen und Evaluationspipelines, die diese Agenten antreiben.

Sie arbeiten an der Schnittstelle von SFT und RL-Post-Training sowie produktgetriebener Evaluation und nutzen unsere verteilten GPU- und MapReduce-Cluster, um Modelle in JetBrains-Produkte zu integrieren.

Als Teil unseres Teams werden Sie:

• Design, Implementierung und Wartung von SFT- und RL-Post-Training-Pipelines für mehrstufige Codierungsagenten.
• LLMs für Agenten-Workflows trainieren und anpassen, einschließlich Planung, Werkzeugnutzung und mehrstufiger Interaktionen innerhalb der JetBrains-IDEs.
• Evaluations- und Simulationsumgebungen aufbauen und entwickeln, in denen Codierungsagenten agieren, gemessen und mit realistischen Entwickleraufgaben verglichen werden können.
• Evaluierungsrahmen und Metriken für das Verhalten von Agenten entwerfen, Protokolle und Logs analysieren und den Kreislauf von der Evaluation zurück in Training, Daten und Belohnungsdesign schließen.
• Trainings- und Evaluierungsergebnisse analysieren, um Verbesserungen an Modellarchitekturen, Trainingsrezepten und Datensätzen vorzuschlagen und umzusetzen.
• Mit großangelegter Infrastruktur arbeiten, einschließlich verteiltem Training auf GPU-Clustern und großen MapReduce-Datenverarbeitungsaufgaben für Vortraining und Feinabstimmung von Datensätzen.
• Eng mit Forschungs-, Produkt- und Infrastrukturteams zusammenarbeiten, um hochrangige Produktvisionen in konkrete Modelle, Experimente und ausgelieferte Funktionen umzusetzen.

Wir freuen uns, Sie an Bord zu holen, wenn Sie:

• Umfangreiche praktische Erfahrung im Training von LLMs (Vortraining, Feinabstimmung oder Post-Training) in einer Forschungs- oder Produktionsumgebung haben.
• Tiefe Expertise in modernen Deep-Learning-Frameworks wie PyTorch und spezialisierten LLM-Trainingsstacks (z.B. Megatron, NeMo, verl oder ähnliche).
• Ein starkes theoretisches und praktisches Verständnis der Grundlagen von LLMs: Architekturen, Tokenisierung, Datenpipelines, Batching, gemischte Präzision, verteiltes Training und Debugging instabiler Abläufe.
• Die Fähigkeit besitzen, Projekte von Anfang bis Ende zu leiten, beginnend mit einem hochrangigen Problem oder Produktproblem und es durch die Phasen Design, Experimentierung, Implementierung und Iteration zu überwachen.
• Eine produktbewusste Denkweise haben – Ihnen liegt am Herzen, wie Entwickler tatsächlich Agenten nutzen, und Sie können Produktbedürfnisse und Fehlerquellen in Modellierungs- und Evaluierungsarbeiten übersetzen.
• Mindestens 3 Jahre Erfahrung mit Python haben und sauberen, wartbaren Code in modernen ML-Codebasen schreiben.

Unser idealer Kandidat hätte Erfahrung mit:

• ML-Orchestratoren und Workflow-Tools wie Kubeflow, Dagster, Airflow, ZenML und/oder Job-Schedulern wie Kubernetes oder SLURM.
• Großangelegten Daten- und Trainingspipelines, z.B. MapReduce-Cluster, Multi-Node-GPU-Training oder Workloads im Bereich von 1M+ CPU/GPU-Stunden.
• Entwurf und Wartung von Evaluationspipelines für LLMs oder Agenten, einschließlich Metriken, Dashboards, Experimentverfolgung und automatisierten Regressionstests.
• Entwicklung von KI-Agenten, wie z.B. werkzeugbenutzenden Agenten, Planern oder mehrstufigen Codierungsworkflows, sowie Vertrautheit mit agentischen Frameworks oder Mustern.
• Experimentverfolgung und Beobachtbarkeit mit Tools wie Weights & Biases, MLflow, Langfuse oder ähnlichem.
• Optimierung der Inferenz und Bereitstellung optimierter Modelle in der Produktion.