Senior AI R&D Engineer- Model Evaluation (f/m/d/)

Aleph Alpha Research’s mission ist es, kategoriedefinierende KI-Innovationen zu liefern, die eine offene, zugängliche und vertrauenswürdige Bereitstellung von GenAI in industriellen Anwendungen ermöglichen. Unsere Organisation entwickelt grundlegende Modelle und Methoden der nächsten Generation, die es den Kunden von Aleph Alpha erleichtern und erschwinglich machen, die Produktivität in Entwicklungs-, Ingenieur-, Logistik- und Fertigungsprozessen zu steigern.

Teamkultur: Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht.

Über die Rolle: Als Senior AI R&D Engineer - Model Evaluation (f/m/d) arbeiten Sie im Team für Pre-Training-Bewertungen. Unsere Mission ist es, während der Pre-Training-Läufe bedeutungsvolle Signale zu geben und anderen Teams zusätzliche Metriken zur Verfügung zu stellen, um informierte Entscheidungen zu treffen. Ihre Verantwortung umfasst die Unterstützung unserer Ingenieure bei der Verbesserung der Testbarkeit unseres Codes durch Design- und Architekturänderungen sowie die Reduzierung der Zeit, die für die End-to-End-Integration eines neuen Benchmarks benötigt wird. Sie treiben diese Änderungen durch schrittweise, praktische Modifikationen unseres Codes voran. Gleichzeitig wird von Ihnen erwartet, dass Sie an kleineren täglichen Aufgaben arbeiten, z.B. unsere Repositories pflegen, ein sporadisches Benchmark-Ergebnis untersuchen oder einen Out-of-Memory-Fehler beheben. Kein Tag ist wie der andere. Die Dinge bewegen sich schnell, und Ihre Fähigkeit, sich zu konzentrieren und Prioritäten zu setzen, ermöglicht es Ihnen, das Team täglich zu unterstützen, während Sie die Werkzeuge und Automatisierungen entwerfen, die uns langfristig beschleunigen. Ihre Arbeit hat direkten Einfluss darauf, was gebaut wird und wie. Ihr Beitrag prägt, wie schnell wir experimentieren und unsere Modelle verbessern können.

Anforderungen: Wir suchen fähige, motivierte und offene Personen, die in einem dynamischen Umfeld gedeihen: LLMs entwickeln sich schnell weiter, und wir pflegen flache Hierarchien sowie die Möglichkeit, in einer Vielzahl von Bereichen Einfluss zu nehmen. Daher suchen wir vor allem hoch talentierte Personen, die in einem solchen Umfeld gedeihen. Sie sollten etwas Einzigartiges beitragen, das unsere Bemühungen unterstützt, aber niemand muss eine lange Liste von Anforderungen erfüllen. Bereitschaft, nach Deutschland umzuziehen. Unsere Hauptarbeitsorte sind Heidelberg und Berlin. Wir fördern eine Vor-Ort-Kultur mit direkter Kommunikation und Zusammenarbeit. Daher sollten Sie mindestens zwei Tage pro Woche an Ihrem Hauptarbeitsort vor Ort sein. Wenn Sie sich für Berlin entscheiden, sollten Sie bereit sein, alle ein bis zwei Monate für einige Tage nach Heidelberg (unser Hauptsitz) zu reisen.

Kernqualifikationen: Softwareentwickler mit der Fähigkeit, Code zu schreiben, auf dem andere starke Ingenieure aufbauen möchten. Fähigkeit, einen Code-Bestand mit angesammelter Komplexität schrittweise in einen testbareren und erklärbaren Zustand zu überführen. Kommunizieren und Überzeugen des Teams von Ihren Ideen ist eine entscheidende Fähigkeit. Initiative ergreifen, um hochwirksame Arbeiten voranzutreiben und zu liefern. Abschluss in Informatik, Ingenieurwesen oder einem verwandten Bereich. Starke Python-Kenntnisse und Erfahrung mit niedrigeren Programmiersprachen wie Rust, C++ usw. Erfahrung mit Infrastruktur-Tools und Container-Orchestrierung wie Docker, Kubernetes, Infrastruktur als Code usw. Tiefes Interesse an und die Bereitschaft, über das Training von LLMs zu lernen.

Bevorzugte Qualifikationen (wir ermutigen Sie, sich zu bewerben, auch wenn Sie nicht alle Anforderungen erfüllen!): Erfahrung mit verteilten Systemen. Erfahrung mit LLM-Bewertung, Benchmark-Design oder Kuratierung von Evaluierungsdatensätzen. Verständnis des Trainings von Grundmodellen: wie Daten, Skalierung und Architektur die Fähigkeiten beeinflussen. Vertrautheit mit statistischen Methoden.

Was wir bieten: Werden Sie Teil einer KI-Revolution! 30 Tage bezahlter Urlaub, Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub, psychologische Unterstützung durch nilo.health, erheblich subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit, subventioniertes deutschlandweites Verkehrsticket, Budget für zusätzliches technisches Equipment, flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell, Virtual Stock Option Plan, JobRad Fahrrad-Leasing.