Senior Research Engineer (Agentic Behavior)

Bei JetBrains ist Code unsere Leidenschaft. Seit unserer Gründung im Jahr 2000 streben wir danach, die stärksten und effektivsten Entwicklerwerkzeuge der Welt zu schaffen. Heute werden KI-gestützte Codierungsagenten zu einem zentralen Bestandteil der Art und Weise, wie Entwickler Kotlin schreiben – und wir möchten sicherstellen, dass sie es gut machen. Das Kotlin AI Value Stream-Team ist verantwortlich dafür, wie KI-Agenten Kotlin-Code auf allen Plattformen verstehen, generieren und verbessern: Android, Kotlin Multiplatform, serverseitig, web, desktop und andere.

Wir bauen die Evaluierungsinfrastruktur, Fehleranalysetools und Post-Training-Pipelines, die das Verhalten von Agenten bei realen Kotlin-Entwickleraufgaben messen und verbessern. Als Research Engineer in diesem Team sind Sie für den gesamten Prozess verantwortlich: Analysieren, wie Agenten bei Kotlin scheitern → Evaluierungen erstellen, die diese Fehler erfassen → Methoden zur Behebung dieser Fehler recherchieren und implementieren → die Verbesserung messen. Ihre Arbeit wird direkt beeinflussen, wie Millionen von Entwicklern Kotlin durch KI-Codierungsagenten erleben.

Als Teil unseres Teams werden Sie:

• Werkzeuge für die agentische Fehleranalyse entwickeln: Entwerfen und implementieren Sie Werkzeuge, um systematisch Fehler zu erfassen, zu klassifizieren und zu analysieren, die KI-Codierungsagenten beim Generieren von Kotlin-Code machen.
• Evaluierungspipelines aufbauen: Entwerfen, implementieren und pflegen Sie Evaluierungspipelines, die die Qualität der Kotlin-Codegenerierung über verschiedene Dimensionen messen, einschließlich Korrektheit, Idiomatik, Build-Erfolg, Framework-Nutzung und Testabdeckung.
• Simulationsumgebungen erstellen, in denen Codierungsagenten an realistischen Kotlin-Entwickleraufgaben gemessen werden können.
• Forschungsmethoden zur Verbesserung des Verhaltens von Agenten und Modellen auf Kotlin untersuchen.
• Öffentliche Kotlin-Benchmarks erstellen: Entwerfen und erstellen Sie Open-Source-Benchmarks, die die Leistung von KI-Codierungsagenten bei Kotlin-Aufgaben messen.

Wir freuen uns, von Ihnen zu hören, wenn Sie:

• Praktische Erfahrung im Aufbau von Evaluierungs- oder Analysepipelines für LLMs oder KI-Codierungsagenten in einer Forschungs- oder Produktionsumgebung haben.
• Starke Python-Engineering-Fähigkeiten (mindestens drei Jahre) besitzen und in der Lage sind, sauberen, wartbaren Code in datenschweren und ML-nahen Codebasen zu schreiben.
• Erfahrung mit Datenanalyse im großen Maßstab haben: Abfragen großer Datensätze (SQL/Athena), Aufbau von Datenpipelines und Durchführung statistischer Analysen von experimentellen Ergebnissen.
• Die Fähigkeit haben, Projekte von Anfang bis Ende zu leiten.
• Ein produktbewusstes Mindset haben.
• Vertrautheit mit Kotlin oder eine starke Bereitschaft, tiefgehende Kotlin-Expertise zu entwickeln.

Unser idealer Kandidat hätte auch Erfahrung mit:

• Post-Training-LLMs: SFT, RLHF, DPO, GRPO.
• Modernen Deep-Learning-Frameworks (PyTorch) und LLM-Trainingsstacks.
• Entwicklung von KI-Agenten.
• Evaluierungsframeworks und -tools.
• Experimentverfolgung und Beobachtbarkeit.
• Dem Kotlin-Ökosystem.
• Beiträgen zu oder der Pflege von Open-Source-Projekten, insbesondere Benchmarks oder Evaluierungstools.

Warum JetBrains beitreten?

• Starkes Grundgehalt.
• Flexible Arbeitsorte.
• Remote-Arbeit.
• Zusätzliche Freizeit.
• Krankenversicherungszuschuss.
• Lern- und Entwicklungsmöglichkeiten.
• Umzugshilfe.
• Sprachkurse.
• Mentale Gesundheitsunterstützung.
• Sportliche Vorteile.
• Interne Veranstaltungen.

Wir sind ein Arbeitgeber, der Chancengleichheit bietet. Wir wissen, dass großartige Ideen von jedem, überall kommen können. Deshalb bemühen wir uns, einen offenen und integrativen Arbeitsplatz zu schaffen.