Research Engineer (Agentic Models)

Join JetBrains als Research Engineer (Agentic Models) und helfen Sie dabei, KI-gestützte Assistenten und Agenten zu entwickeln, die ein zentraler Bestandteil der Arbeitsweise von Entwicklern in unseren IDEs werden. In dieser Rolle arbeiten Sie an der Schnittstelle von SFT und RL-Style Post-Training sowie produktgetriebener Evaluierung, indem Sie unsere verteilten GPU- und MapReduce-Cluster nutzen, um Modelle in JetBrains-Produkte zu integrieren.

Verantwortlichkeiten

• Entwerfen, implementieren und warten von SFT- und RL-Post-Training-Pipelines für mehrstufige Codierungsagenten.
• Trainieren und Anpassen von LLMs für Agenten-Workflows, einschließlich Planung, Werkzeugnutzung und mehrstufigen Interaktionen innerhalb der JetBrains-IDEs.
• Aufbauen und Entwickeln von Evaluierungs- und Simulationsumgebungen, in denen Codierungsagenten agieren, gemessen und mit realistischen Entwickleraufgaben verglichen werden können.
• Entwerfen von Evaluierungsrahmen und Metriken für das Verhalten von Agenten, Analysieren von Protokollen und Logs sowie Schließen des Kreislaufs von der Evaluierung zurück zum Training, den Daten und dem Belohnungsdesign.
• Analysieren von Trainings- und Evaluierungsergebnissen, um Verbesserungen an Modellarchitekturen, Trainingsrezepten und Datensätzen vorzuschlagen und umzusetzen.
• Arbeiten mit großangelegter Infrastruktur, einschließlich verteiltem Training auf GPU-Clustern und großem MapReduce-ähnlichem Datenverarbeitung für Vortraining und Feinabstimmung von Datensätzen.
• Eng mit Forschungs-, Produkt- und Infrastrukturteams zusammenarbeiten, um hochrangige Produktvisionen in konkrete Modelle, Experimente und ausgelieferte Funktionen umzusetzen.

Qualifikationen

• Praktische Erfahrung im Training von LLMs (Vortraining, Feinabstimmung oder Post-Training) in einem Forschungs- oder Produktionsumfeld.
• Erfahrung mit modernen Deep-Learning-Frameworks wie PyTorch und spezialisierten LLM-Trainingsstacks (z.B. Megatron, NeMo, verl oder ähnliches).
• Ein solides Verständnis der Grundlagen des LLM-Trainings – Tokenisierung, Datenpipelines, Batching, gemischte Präzision, verteiltes Training und Debugging instabiler Läufe.
• Die Fähigkeit, Projekte von Anfang bis Ende zu leiten, beginnend mit einem hochrangigen Problem oder Produktproblem und es durch die Phasen Design, Experimentierung, Implementierung und Iteration zu überwachen.
• Eine produktbewusste Denkweise – Sie interessieren sich dafür, wie Agenten tatsächlich von Entwicklern genutzt werden, und können Produktbedürfnisse und Fehlerquellen in Modellierungs- und Evaluierungsarbeiten übersetzen.
• Mindestens 3 Jahre Erfahrung mit Python, um sauberen, wartbaren Code in modernen ML-Codebasen zu schreiben.

Unser idealer Kandidat hätte Erfahrung mit

• ML-Orchestratoren und Workflow-Tools wie Kubeflow, Dagster, Airflow, ZenML und/oder Job-Schedulern wie Kubernetes oder SLURM.
• Großangelegten Daten- und Trainingspipelines, z.B. MapReduce-ähnliche Cluster, Multi-Node-GPU-Training oder Workloads im Bereich von 1M+ CPU/GPU-Stunden.
• Entwerfen und Warten von Evaluierungspipelines für LLMs oder Agenten, einschließlich Metriken, Dashboards, Experimentverfolgung und automatisierten Regressionstests.
• Entwicklung von KI-Agenten, wie z.B. werkzeugbenutzende Agenten, Planer oder mehrstufige Codierungs-Workflows, sowie Vertrautheit mit agentischen Frameworks oder Mustern.
• Experimentverfolgung und Beobachtbarkeit mit Tools wie Weights & Biases, MLflow, Langfuse oder ähnlichem.
• Optimierung der Inferenz und Bereitstellung optimierter Modelle in der Produktion.

Wir verarbeiten die in Ihrer Bewerbung bereitgestellten Daten gemäß der Datenschutzrichtlinie für die Rekrutierung.

Senioritätsgrad: Mid-Senior Level

Beschäftigungsart: Vollzeit

Berufsbereich: Ingenieurwesen und Informationstechnologie

Branchen: Softwareentwicklung