Senior Research Engineer (Agentic Behavior) (m/f/d)

Bei JetBrains ist Code unsere Leidenschaft. Seit unserer Gründung im Jahr 2000 streben wir danach, die stärksten und effektivsten Entwicklerwerkzeuge der Welt zu schaffen. Heute werden KI-gestützte Codierungsagenten zu einem zentralen Bestandteil der Art und Weise, wie Entwickler Kotlin schreiben – und wir möchten sicherstellen, dass sie es gut machen. Das Kotlin AI Value Stream-Team ist verantwortlich dafür, wie KI-Agenten Kotlin-Code auf allen Plattformen verstehen, generieren und verbessern: Android, Kotlin Multiplatform, serverseitig, web, desktop und andere. Wir bauen die Evaluierungsinfrastruktur, Fehleranalysetools und Post-Training-Pipelines, die das Verhalten von Agenten bei realen Kotlin-Entwickleraufgaben messen und verbessern.

Als Research Engineer in diesem Team sind Sie für den gesamten Prozess verantwortlich: Analysieren, wie Agenten bei Kotlin scheitern → Evaluierungen erstellen, die diese Fehler erfassen → Methoden zur Behebung dieser Fehler recherchieren und implementieren → die Verbesserung messen. Ihre Arbeit wird direkt beeinflussen, wie Millionen von Entwicklern Kotlin durch KI-Codierungsagenten erleben.

Als Teil unseres Teams werden Sie:

• Tools für die agentische Fehleranalyse entwickeln - Werkzeuge entwerfen und implementieren, um systematisch Fehler zu erfassen, zu klassifizieren und zu analysieren, die KI-Codierungsagenten beim Generieren von Kotlin-Code machen.
• Evaluierungspipelines aufbauen - Evaluierungspipelines entwerfen, implementieren und warten, die die Qualität der Kotlin-Codegenerierung über verschiedene Dimensionen messen, einschließlich Korrektheit, Idiomatik, Build-Erfolg, Framework-Nutzung und Testabdeckung.
• Methoden zur Verbesserung des Verhaltens von Agenten und Modellen auf Kotlin erforschen - Mit Post-Training-Techniken experimentieren (SFT, DPO, GRPO), um zu verbessern, wie Modelle mit Kotlin-spezifischen Mustern, Idiomen und Frameworks umgehen.
• Öffentliche Kotlin-Benchmarks erstellen - Open-Source-Benchmarks entwerfen und erstellen, die die Leistung von KI-Codierungsagenten bei Kotlin-Aufgaben messen und schließlich zum Standardreferenz für das Ökosystem werden.

Wir freuen uns, Sie an Bord zu haben, wenn Sie:

• Praktische Erfahrung im Aufbau von Evaluierungs- oder Analysepipelines für LLMs oder KI-Codierungsagenten in einer Forschungs- oder Produktionsumgebung haben.
• Starke Python-Engineering-Fähigkeiten (mindestens drei Jahre) besitzen, mit der Fähigkeit, sauberen, wartbaren Code in datenschweren und ML-nahen Codebasen zu schreiben.
• Erfahrung mit Datenanalyse im großen Maßstab haben: Abfragen großer Datensätze (SQL/Athena), Aufbau von Datenpipelines und Durchführung statistischer Analysen von experimentellen Ergebnissen.
• Die Fähigkeit haben, Projekte von Anfang bis Ende zu leiten – vom Identifizieren eines Problems in Agententraces bis hin zum Entwerfen einer Evaluierung, Durchführen von Experimenten und Ausliefern einer Lösung.
• Ein produktbewusstes Mindset haben: Ihnen liegt am Herzen, wie Agenten tatsächlich von Entwicklern genutzt werden, und Sie können reale Fehlermuster in Evaluierungs- und Trainingsarbeiten übersetzen.
• Vertrautheit mit Kotlin oder eine starke Bereitschaft haben, tiefgehende Kotlin-Expertise zu entwickeln (Sie werden täglich in Kotlin-Codebasen arbeiten).

Unser idealer Kandidat hätte auch Erfahrung mit:

• Post-Training-LLMs: SFT, RLHF, DPO, GRPO – entweder praktische Schulung oder das Entwerfen der Daten- und Belohnungspipelines, die in das Training einfließen.
• Modernen Deep-Learning-Frameworks (PyTorch) und LLM-Trainingsstacks (TRL, verl, Megatron oder ähnlich).
• Entwicklung von KI-Agenten: werkzeugbenutzende Agenten, mehrstufige Codierungsworkflows, agentische Frameworks.
• Evaluierungsframeworks und -tools: Inspect AI, Promptfoo, LM-evaluation-harness oder benutzerdefinierte Evaluierungspipelines.
• Experimentverfolgung und Beobachtbarkeit: Weights & Biases, MLflow, Langfuse oder ähnlich.
• Dem Kotlin-Ökosystem: Android, Gradle, KMP, Spring, Ktor – mit einem Verständnis der Entwickler-Workflows, die Agenten unterstützen müssen.
• Beiträgen zu oder der Pflege von Open-Source-Projekten, insbesondere Benchmarks oder Evaluierungstools.

Wenn Sie nicht alle Anforderungen erfüllen? Das ist in Ordnung – wenn Sie sich für diese Arbeit begeistern und starke Grundlagen mitbringen, würden wir uns freuen, von Ihnen zu hören. Wir sprechen gerne mit Ihnen und bieten die Schulung, die Sie benötigen, um in die Rolle hineinzuwachsen.

Warum JetBrains beitreten?

• Starkes Grundgehalt. Wir bieten wettbewerbsfähige Vergütung, die Ihre Fähigkeiten und Erfahrungen widerspiegelt.
• Flexibler Arbeitsort. Genießen Sie die Freiheit, von zu Hause oder im Büro zu arbeiten.
• Remote-Arbeit. Verbringen Sie bis zu 30 Tage pro Jahr mit Remote-Arbeit im Ausland.
• Zusätzliche Freizeit. Mehr Tage zum Entspannen, Auftanken und für die Dinge, die Sie lieben.
• Krankenversicherungszuschuss. Genießen Sie Sicherheit für sich und Ihre Familie.
• Lern- und Entwicklungsmöglichkeiten. Zugang zu Konferenzen, Kursen und Sprachkursen.
• Umzugshilfe. Wir helfen, Ihren Umzug so reibungslos und stressfrei wie möglich zu gestalten.
• Sprachkurse. Lernen Sie die Landessprache oder verbessern Sie Ihre Englischkenntnisse.
• Verpflegung. Genießen Sie ein warmes Essen oder erhalten Sie einen Mittagszuschuss an Arbeitstagen.
• Unterstützung für psychische Gesundheit. Um Ihnen zu helfen, sich wohlzufühlen, bieten wir einfachen Zugang zu professionellen psychischen Gesundheitsdiensten.
• Sportliche Vorteile. Genießen Sie ein Fitnessstudio vor Ort oder einen Zuschuss für einen Sportclub.
• Interne Veranstaltungen. Nehmen Sie an unternehmensweiten Feiern und Teambesprechungen teil.

*Einige Vorteile können je nach Standort variieren.