Staff Research Engineer (LLM Pre-Training)

Bei JetBrains ist Code unsere Leidenschaft. Seit unserer Gründung im Jahr 2000 streben wir danach, die robustesten und effektivsten Entwicklerwerkzeuge der Welt zu schaffen. Durch die Automatisierung routinemäßiger Überprüfungen und Korrekturen beschleunigen unsere Werkzeuge die Produktion und ermöglichen es Entwicklern, zu wachsen, zu entdecken und zu kreieren. Wir arbeiten an einer ehrgeizigen neuen Plattform, die KI-Funktionen für alle JetBrains-Produkte bereitstellt. Unsere Plattform basiert auf intern entwickelten Modellen für Schreib- und Programmierhilfe sowie auf der Integration mit unseren strategischen Partnern.

Wir suchen einen Research Engineer, der zur Ausbildung von Grundmodellen für Programmieraufgaben beitragen kann. Sie werden daran arbeiten, große Sprachmodelle von Grund auf zu entwickeln und sie in Produktionsumgebungen bereitzustellen, wo sie von Endbenutzern weltweit zugänglich sind.

Wir schätzen Ingenieure, die:

• Projekte planen und Entscheidungen unabhängig treffen können, wobei sie bei Bedarf andere konsultieren.
• Kundenbedürfnisse identifizieren und ihre Aufgaben entsprechend priorisieren.
• Mit den einfachsten Lösungen beginnen und nach Bedarf schrittweise Komplexität hinzufügen.
• Die alleinige Verantwortung für ein ganzes Teilsystem übernehmen.
• Eine Leidenschaft für das Lernen haben und den Wunsch, über die neuesten Entwicklungen im Bereich LLM informiert zu bleiben.

In dieser Rolle werden Sie:

• Mit Stakeholdern zusammenarbeiten, um Geschäftsanforderungen in technische Spezifikationen umzuwandeln.
• LLMs von Grund auf auf einem großen GPU-Cluster trainieren.
• Vortrainings- und Feinabstimmungsdatensätze sammeln und verarbeiten.
• Bestehende Teilsysteme unterstützen und verbessern.

Wir freuen uns, Sie in unserem Team zu haben, wenn Sie:

• Erfahrung im Design, in der Bereitstellung und im Support von Produktions-ML-Systemen haben.
• Ein starkes theoretisches Fundament in NLP und transformerbasierten Ansätzen besitzen.
• Versiert im Umgang mit modernen Deep-Learning-Frameworks wie PyTorch und gängigen Bibliotheken für NLP sind.
• Erfahrung im verteilten Training von Modellen mit mehreren Milliarden Parametern haben.
• Auf Details achten und über hervorragende Kommunikationsfähigkeiten verfügen.

Besonders begeistert wären wir, wenn Sie Erfahrung mit:

• LLM-Inferenz-Frameworks wie vLLM, DeepSpeed, TensorRT haben.
• LLM-Ausrichtungstechniken wie RLHF/RLAIF vertraut sind.
• MLOps-Tools und -Praktiken, einschließlich CI/CD für ML, haben.
• K8s und Kubeflow kennen.
• Wissenschaftlichen Veröffentlichungen im Bereich NLP vorweisen können.

Wie wir JetBrains AI entwickeln:

• Ein Cluster von Hunderten von NVIDIA-GPUs als Trainingsinfrastruktur.
• Git für das Quellcode-Management.
• Python, PyTorch und HuggingFace als ML-Stack.
• Kubeflow und Weights & Biases für das Experiment-Tracking.
• TeamCity als CI-Automatisierungssystem.

Wir sind ein Arbeitgeber, der Chancengleichheit bietet. Wir wissen, dass großartige Ideen von jedem, überall kommen können. Deshalb tun wir unser Bestes, um einen offenen und integrativen Arbeitsplatz zu schaffen – einen, der jeden willkommen heißt, unabhängig von Hintergrund, Identität, Religion, Alter, Zugangsbedürfnissen oder Orientierung.