AI Research Engineer (all genders)

Bei ellamind bauen wir eine evaluierungsorientierte KI-Infrastruktur. Unsere Plattform elluminate verwandelt die KI-Evaluierung von ad-hoc „Vibe Checks“ in rigorose, wiederholbare Ingenieurmethoden, um Teams zu ermöglichen, LLM-Anwendungen mit Vertrauen zu testen, zu messen und zu verbessern.

Was Sie tun werden:

• Fortschritt in der LLM-Evaluierungsforschung: Entwerfen, implementieren und validieren Sie neue Benchmarks, Metriken und Workflows, die Korrektheit, Robustheit, Sicherheit und Zuverlässigkeit über Sprachen und Modalitäten hinweg messen.
• Aufbau von LLM-als-Richter-Setups und Belohnungsmodellen: Entwickeln Sie rubrikbasierte Bewertungsmodelle, Präferenzdatenpipelines, Belohnungsmodelle und führen Sie DPO/RLHF/RLAIF/RLVF-Training durch.
• Generierung und Kuratierung synthetischer Daten: Erstellen Sie hochwertige synthetische Datensätze für das Pre-Training, Post-Training und die Evaluierung von LLMs mit Filterung, Duplikatsentfernung und Dekontamination zur zuverlässigen Verbesserung der Modellfähigkeiten.
• Training und Anpassung offener Modelle: Pre-Train und Fine-Tune von Open-Source-LLMs unter Verwendung von LLM-Trainingsframeworks zur Durchführung rigoroser Ablationen.
• Skalierung von Experimenten auf GPU-Clustern: Orchestrieren Sie großangelegte Trainings-, Inferenz- und Evaluierungsjobs, optimieren Sie die Effizienz und stellen Sie die End-to-End-Reproduzierbarkeit mit Tausenden von GPUs sicher.
• Multilinguale Daten und Evaluierung: Erweitern Sie Trainingsdatensätze und Evaluierungspipelines auf europäische Sprachen.
• Offene Wissenschaft & Zusammenarbeit: Veröffentlichen Sie Datensätze/Werkzeuge, technische Berichte, Blogbeiträge und wissenschaftliche Arbeiten und arbeiten Sie mit Partnern wie OpenEuroLLM zusammen, um die Evaluierungsstandards voranzutreiben.
• Produktisierung von Forschung: Wandeln Sie Prototypen in elluminate-Funktionen um – automatisierte Evaluierungssuiten, Bewertungsmodelle und Datenpipelines. Arbeiten Sie mit Plattformingenieuren und Produktteams zusammen, um zuverlässige Workflows zu liefern.

Sie werden hauptsächlich mit einem Python-basierten LLM-Forschungsstack (HuggingFace-Ökosystem, PyTorch, Megatron-LM/torchtitan, vLLM/SGLang, lm-eval-harness/LightEval, Datenrahmenbibliotheken, SLURM, Ray) arbeiten.

Was wir suchen:

Must-haves:

• Starke Python-Engineering-Fähigkeiten: Erfahrung im Aufbau von LLM-zentrierten Systemen mit sauberem, wartbarem Code, umfassendem Testen und Leistungsoptimierung in großem Maßstab.
• Expertise in LLM-Operationen: Vertraut mit Tokenisierern/Vokabularen, Datenspezifikationen (z.B. Parquet), Sampling/Dekodierungs-Konfigurationen und Evaluierung.
• Literacy in verteiltem Training & Inferenz: Solides Verständnis der Grundlagen von Multi-GPU/Multi-Node (z.B. FSDP/DeepSpeed), Planung und Überwachung sowie praktisches Debugging von Durchsatz-/Speicherproblemen.
• Experimentdesign & Statistik: Planung von Ablationen, Verfolgung von Experimenten und Anwendung solider statistischer Methoden (Signifikanztests, Unsicherheitsabschätzungen), um zuverlässige Schlussfolgerungen zu ziehen.
• Datenhygiene-Mindset: Wertschätzung der Datensatzqualität – Duplikatsentfernung, Kontaminationsprüfungen, mehrsprachige Abdeckung und nachvollziehbare Versionierung.
• Linux-Komfort: Produktiv auf Linux-Servern – Shell-Workflows, virtuelle Umgebungen, Container, GPU-Tools, Protokolle/Metriken und Remote-Entwicklung/Debugging.
• Vor-Ort-Zusammenarbeit: Mindestens 3 Tage pro Woche in Berlin oder Bremen (Reise zu unserem Bremer Hauptsitz während der Einarbeitung).
• Fließend in Englisch: Mindestens B2-Niveau für Teamzusammenarbeit und technische Diskussionen.
• Gültige EU-Arbeitserlaubnis.

Nice-to-haves:

• Erfahrung mit LLM-Evaluierungsframeworks (lm-eval-harness, LightEval) oder eine Erfolgsbilanz rigoroser benutzerdefinierter Benchmarks und Metriken.
• Hintergrund in Präferenzlernen und Belohnungsmodellierung (DPO/RLHF/RLAIF), einschließlich Rubrikdesign und hochwertigen Präferenzdatenpipelines.
• Mehrsprachige Expertise: Aufbau oder Evaluierung von Modellen über europäische Sprachen hinweg; Datensammlung, Ausrichtung und übertragendes Lernen.
• Komfort mit Hochdurchsatz-Inferenzsystemen (vLLM, SGLang), Latenz-/Speicheroptimierung und Modellquantisierung.
• Erfahrung mit Systemen und Orchestrierung (SLURM/Ray/Kubernetes) und Containern (Docker/Apptainer) – einschließlich GPU-Beobachtbarkeit, Planung und Leistungstuning.
• Vertrautheit mit MLOps und Reproduzierbarkeit: Experimentverfolgung (z.B. W&B), Datensatz-/Modell-/Prompt-Versionierung, CI für Forschungs-Workflows und zuverlässiges Artefaktmanagement.
• Erfahrung im Aufbau von Open-Source-Tools oder Veröffentlichung von Forschungsartefakten (Datensätze, Modelle, Arbeiten) oder starke technische Schreibfähigkeiten.
• Erfahrung in der direkten Zusammenarbeit mit Partnern oder Kunden zur Validierung von Ergebnissen und zur Übersetzung von Forschung in Produktwirkungen.
• Fortgeschrittener Abschluss in Informatik, Maschinenlernen, Datenwissenschaft oder einem verwandten Bereich (PhD bevorzugt oder gleichwertige Leistungen).

Was am wichtigsten ist:

Wir priorisieren nachgewiesene Exzellenz in Ihren Projekten und Ihrer Karriere. Wenn Sie motiviert sind, KI-Lösungen zu entwickeln und zu optimieren, möchten wir von Ihnen hören – auch wenn Sie nicht jedes einzelne Kriterium erfüllen.

Diversität & Inklusion:

Unterschiedliche Perspektiven machen uns stärker. Wir begrüßen Bewerber aus allen Hintergründen und ermutigen Sie, sich zu bewerben.

Warum wir?

• Gestalten Sie die Zukunft der KI-Forschung: Beeinflussen Sie unsere Forschungsagenda und das LLM-Ökosystem in Europa – helfen Sie, Evaluierungsstandards und Trainingspraktiken festzulegen, auf die ernsthafte KI-Teams und Institutionen angewiesen sind.
• Technische Exzellenz trifft auf modernste Forschung: Drücken Sie die Grenzen des LLM-Trainings und der Evaluierung – entwerfen Sie mehrsprachige Benchmarks, bauen Sie LLM-als-Richter- und Belohnungsmodelle, generieren Sie hochwertige synthetische Daten und führen Sie rigorose Ablationen in großem Maßstab auf großen GPU-Clustern durch.
• Karriere-definierende Gelegenheit: Systematische Evaluierung wird so grundlegend für KI wie Versionskontrolle für Software. Arbeiten Sie im Zentrum dieses Wandels und tragen Sie Methoden, Datensätze und Werkzeuge bei, die andere übernehmen und weiterentwickeln.
• Eigenverantwortung und Einfluss: Leiten Sie die Forschung von Anfang bis Ende – formulieren Sie Hypothesen, erstellen Sie Datensätze und Benchmarks, führen Sie großangelegte Experimente durch und veröffentlichen Sie Ergebnisse (Arbeiten, technische Berichte, OSS). Arbeiten Sie mit erstklassigen Partnerlaboren zusammen und sehen Sie, wie Ihre Arbeit das Verhalten von Modellen und die Evaluierungsmethoden in der Branche prägt.
• Rechenleistung, die Ihrem Ehrgeiz entspricht: Zugang zu ernsthaften GPU-Ressourcen.
• Offene Wissenschaft standardmäßig: Freiheit, Datensätze, Modelle und Werkzeuge zu veröffentlichen; Unterstützung für Konferenzeinreichungen und Reisen.
• Wettbewerbsfähiges Paket mit Aufwärtspotenzial: Neben einem wettbewerbsfähigen Gehalt bieten wir ein VSOP (Virtual Stock Option Program), um Ihnen einen echten Anteil am Erfolg des Unternehmens zu geben, während wir wachsen.
• Best-in-Class-Entwicklungserfahrung: Schneller und reibungsloser Zugang zu allen KI-Technologien, die Ihr Leben (und Ihre Entwicklungsarbeit) erleichtern, sowie die neuesten Werkzeuge und Plattformen, um Ihre Produktivität zu maximieren.
• Arbeitsumfeld: Unser Büro in Bremen bietet atemberaubende Ausblicke auf das Wasser, kostenlose Getränke, Smoothies und ein Boot. Wir eröffnen unser Büro in Berlin Ende 2025, was Ihnen Flexibilität bei unserer Expansion gibt.
• Wachsen Sie mit transformierender Technologie: Bauen Sie tiefes Fachwissen in der LLM-Evaluierung und Infrastruktur auf, tragen Sie zu offenen Standards bei und treiben Sie den Stand der Technik voran, zusammen mit einem Team, das Wert auf Rigor und Einfluss legt.

Über uns:

Wir sind ein cash-flow-positives, in Deutschland ansässiges KI-Startup, das elluminate entwickelt – die Unternehmensplattform, die die KI-Evaluierung von ad-hoc-Experimenten in rigorose, wiederholbare Workflows verwandelt, damit Teams zuverlässige KI mit Vertrauen liefern können. Teams nutzen elluminate, um Test-Suiten zu entwerfen, Modelle zu benchmarken, Regressionen zu verfolgen und zuverlässige KI mit klaren, messbaren Qualitätskriterien zu liefern. Wir kombinieren elluminate mit maßgeschneiderten Lösungen für große Sprachmodelle und vollständigen On-Premise-Bereitstellungsoptionen. Unsere Produkte haben bereits das Vertrauen renommierter Kunden wie Deutsche Telekom, der deutschen Bundesregierung und führenden Krankenversicherungen wie hkk gewonnen.

In Bremen verwurzelt und in Zusammenarbeit mit führenden Organisationen hat unser Team eine Erfolgsbilanz in der Entwicklung fortschrittlicher Modelle und Datensätze. Wir übernehmen gerne Probleme von Anfang bis Ende und liefern pragmatisch und tragen zur Open-Source-Community über Initiativen wie OpenEuroLLM bei und veröffentlichen regelmäßig Modelle und Werkzeuge, um das breitere Ökosystem zu beschleunigen.

Vergütungsbereich: €70.000 – €110.000.

Jobdetails:

• Senioritätsgrad: Mid-Senior Level
• Beschäftigungsart: Vollzeit
• Berufsbereich: Ingenieurwesen und Informationstechnologie
• Branchen: IT-Dienstleistungen und IT-Beratung

Standort: Bremen, Deutschland.