Senior Research Engineer (Agentic Behavior)

Bei JetBrains ist Code unsere Leidenschaft. Seit unserer Gründung im Jahr 2000 streben wir danach, die stärksten und effektivsten Entwicklerwerkzeuge der Welt zu schaffen. Heute werden KI-gestützte Codierungsagenten zu einem zentralen Bestandteil der Art und Weise, wie Entwickler Kotlin schreiben – und wir möchten sicherstellen, dass sie es gut machen. Das Kotlin AI Value Stream-Team ist verantwortlich dafür, wie KI-Agenten Kotlin-Code auf allen Plattformen verstehen, generieren und verbessern: Android, Kotlin Multiplatform, serverseitig, web, desktop und andere. Wir bauen die Evaluierungsinfrastruktur, Fehleranalysetools und Post-Training-Pipelines, die das Verhalten von Agenten bei realen Kotlin-Entwickleraufgaben messen und verbessern. Als Research Engineer in diesem Team sind Sie für den gesamten Prozess verantwortlich: Analysieren, wie Agenten bei Kotlin scheitern → Evaluierungen erstellen, die diese Fehler erfassen → Methoden zur Behebung dieser Fehler recherchieren und implementieren → die Verbesserung messen.

Zu Ihren Aufgaben gehören:

• Tools für agentische Fehleranalyse entwickeln: Entwerfen und Implementieren von Werkzeugen zur systematischen Erfassung, Klassifizierung und Analyse von Fehlern, die KI-Codierungsagenten bei der Generierung von Kotlin-Code machen.
• Evaluierungspipelines aufbauen: Entwerfen, Implementieren und Warten von Evaluierungspipelines, die die Qualität der Kotlin-Codegenerierung über verschiedene Dimensionen messen, einschließlich Korrektheit, Idiomatik, Build-Erfolg, Framework-Nutzung und Testabdeckung.
• Forschungsmethoden zur Verbesserung des Verhaltens von Agenten und Modellen auf Kotlin: Experimentieren mit Post-Training-Techniken (SFT, DPO, GRPO), um zu verbessern, wie Modelle Kotlin-spezifische Muster, Idiome und Frameworks handhaben.
• Öffentliche Kotlin-Benchmarks erstellen: Entwerfen und Erstellen von Open-Source-Benchmarks, die die Leistung von KI-Codierungsagenten bei Kotlin-Aufgaben messen und schließlich zum Standardreferenz für das Ökosystem werden.

Wir freuen uns, von Ihnen zu hören, wenn Sie:

• Praktische Erfahrung im Aufbau von Evaluierungs- oder Analysepipelines für LLMs oder KI-Codierungsagenten in einer Forschungs- oder Produktionsumgebung haben.
• Starke Python-Engineering-Fähigkeiten (mindestens drei Jahre) besitzen, mit der Fähigkeit, sauberen, wartbaren Code in datenschweren und ML-nahen Codebasen zu schreiben.
• Erfahrung mit Datenanalyse im großen Maßstab haben: Abfragen großer Datensätze (SQL/Athena), Aufbau von Datenpipelines und Durchführung statistischer Analysen von experimentellen Ergebnissen.
• Die Fähigkeit haben, Projekte von Anfang bis Ende zu leiten – vom Identifizieren eines Problems in Agententraces bis hin zum Entwerfen einer Evaluierung, Durchführen von Experimenten und Ausliefern einer Lösung.
• Ein produktbewusstes Mindset haben: Sie interessieren sich dafür, wie Agenten tatsächlich von Entwicklern genutzt werden und können reale Fehlermuster in Evaluierungs- und Trainingsarbeiten übersetzen.
• Vertrautheit mit Kotlin oder eine starke Bereitschaft haben, tiefgehende Kotlin-Expertise zu entwickeln.

Unser idealer Kandidat hätte auch Erfahrung mit:

• Post-Training-LLMs: SFT, RLHF, DPO, GRPO – entweder praktische Schulung oder das Entwerfen der Daten- und Belohnungspipelines, die in das Training einfließen.
• Modernen Deep-Learning-Frameworks (PyTorch) und LLM-Trainingsstacks (TRL, verl, Megatron oder ähnlich).
• Entwicklung von KI-Agenten: werkzeugbenutzende Agenten, mehrstufige Codierungs-Workflows, agentische Frameworks.
• Evaluierungsframeworks und -tools: Inspect AI, Promptfoo, LM-evaluation-harness oder benutzerdefinierte Evaluierungspipelines.
• Experimentverfolgung und Beobachtbarkeit: Weights & Biases, MLflow, Langfuse oder ähnlich.

Warum JetBrains beitreten?

• Starkes Grundgehalt.
• Flexible Arbeitsorte.
• Remote-Arbeit.
• Zusätzliche Freizeit.
• Krankenversicherungszuschuss.
• Lern- und Entwicklungsmöglichkeiten.
• Umzugshilfe.
• Sprachkurse.
• Mentale Gesundheitsunterstützung.
• Sportliche Vorteile.
• Interne Veranstaltungen.

Wir sind ein Arbeitgeber, der Chancengleichheit bietet. Wir wissen, dass großartige Ideen von jedem, überall kommen können. Deshalb tun wir unser Bestes, um einen offenen und integrativen Arbeitsplatz zu schaffen – einen, der jeden willkommen heißt, unabhängig von Hintergrund, Identität, Religion, Alter, Zugänglichkeitsbedürfnissen oder Orientierung.