Senior AI Software Engineer – Model Evaluation (f/m/d)

Aleph Alpha Research’s mission is to deliver category-defining AI innovation that enables open, accessible, and trustworthy deployment of GenAI in industrial applications. Our organization develops foundational models and next-generation methods that make it easy and affordable for Aleph Alpha’s customers, um die Produktivität in Entwicklung, Ingenieurwesen, Logistik und Fertigungsprozessen zu steigern.

Teamkultur
Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht.

Über die Rolle
Als Senior AI Engineer in der Pre-training Evaluation arbeiten Sie über den gesamten Stack der Evaluierung – von der Methodikgestaltung über die Implementierung bis zur Analyse. Einige Wochen werden Sie tief in der Benchmark-Kuration sein, um zu verstehen, was eine bestimmte Evaluierung tatsächlich misst und ob sie die Leistung in nachgelagerten Anwendungen vorhersagt. In anderen Wochen optimieren Sie den Pipeline-Durchsatz oder erstellen Dashboards, die Trainingssignale sichtbar machen. Wir suchen jemanden, der signifikante Forschungserfahrung (in der Industrie oder der Wissenschaft) mit hoher Ingenieurskompetenz kombiniert. Ihre Arbeit hat hohen Einfluss: Die Evaluierungen, die Sie entwerfen und erstellen, bestimmen, welche Trainingsläufe wir verfolgen, welche Datenmischungen wir priorisieren und wie wir Rechenressourcen zuweisen. Sie haben direkten Einfluss auf die Modelle, die wir ausliefern.

Ihre Verantwortlichkeiten
• Benchmarks end-to-end besitzen: Auswahl, Implementierung und Pflege der Evaluierungssuite, die während des Pre-Trainings verwendet wird – von der Datensatzkuration bis zur Scoring-Infrastruktur und Ergebnisanalyse.
• Evaluierungsinfrastruktur aufbauen: Entwicklung und Optimierung der Pipelines, die Evaluierungen gegen Trainingschecks durchführen, um Geschwindigkeit, Zuverlässigkeit und Reproduzierbarkeit sicherzustellen.
• Aggregation und Berichterstattung gestalten: Definieren, wie Benchmark-Ergebnisse in Trainingsentscheidungen übersetzt werden, und die Werkzeuge erstellen, die Ergebnisse interpretierbar machen.
• Fähigkeitslücken schließen: Zusammenarbeit mit Produkt- und Post-Training-Teams, um zu identifizieren, wo unsere Modelle Schwächen aufweisen, und dann Benchmarks zu erstellen oder zu integrieren, die Fortschritte messen.
• Deutsche Evaluierung besitzen: Sicherstellen einer rigorosen Bewertung der Fähigkeiten der deutschen Sprache – dies ist zentral für unser Wertversprechen, nicht nur eine nachträgliche Überlegung.
• Signale korrelieren: Feststellen, welche Metriken im Pre-Training tatsächlich die Leistung in nachgelagerten und systemweiten Anwendungen vorhersagen.

Ihr Profil
• Erfahrung mit LLM-Evaluierung, Benchmark-Design, Kuratierung von Evaluierungsdatensätzen und experimentellem Design.
• Vertrautheit mit statistischen Methoden für Evaluierung und Experimentdesign.
• Nachweisbare Erfolge bei der Auslieferung von wirkungsvollem technischem Arbeiten – sei es Forschung, Infrastruktur oder beides.
• Starke Python-Kenntnisse und Vertrautheit mit ML-Tools (PyTorch, Evaluierungsframeworks, verteilte Systeme).
• Fähigkeit, darüber nachzudenken, was eine Evaluierung misst und ob es wichtig ist – nicht nur Benchmarks ausführen, sondern sie auch verstehen.
• Eigenverantwortung: Sie sehen Probleme von der Diagnose bis zur Lösung und Bereitstellung durch.
• Bereitschaft, nach Heidelberg umzuziehen oder regelmäßig zu reisen (potenziell wöchentlich).

Bevorzugte Qualifikationen
• Verständnis des Trainings von Grundmodellen – wie Daten, Skalierung und Architektur die Fähigkeiten beeinflussen.
• Erfahrung mit der Verarbeitung großer Datenmengen oder ML-Infrastruktur.
• Deutschkenntnisse (hilfreich für die Bewertung deutscher Fähigkeiten, aber nicht erforderlich).
• PhD in Maschinenlernen, NLP, Statistik oder einem verwandten Bereich (geschätzt, aber nicht erforderlich – uns interessiert, was Sie tun können).

Was wir bieten
• Werden Sie Teil einer KI-Revolution!
• 30 Tage bezahlter Urlaub
• Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
• Unterstützung der psychischen Gesundheit durch nilo.health
• Substantielle Förderung der betrieblichen Altersvorsorge für Ihre zukünftige Sicherheit
• Subventioniertes deutschlandweites Verkehrsticket
• Budget für zusätzliches technisches Equipment
• Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
• Virtuelles Aktienoptionsprogramm
• JobRad® Fahrrad-Leasing