Senior Software Engineer- Evaluation (f/m/d/)

Aleph Alpha Research’s mission is to deliver category-defining AI innovation, enabling open, accessible, and trustworthy deployment von GenAI in industriellen Anwendungen. Unsere Organisation entwickelt grundlegende Modelle und Methoden der nächsten Generation, die es Aleph Alpha-Kunden erleichtern und erschwinglich machen, die Produktivität in Entwicklung, Ingenieurwesen, Logistik und Fertigungsprozessen zu steigern.

Teamkultur
Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht.

Über die Rolle
Als Senior Software Engineer für LLM Model Evaluation (f/m/d) arbeiten Sie im Team für Vortrainingsevaluierungen. Unsere Mission ist es, während der Vortraining-Läufe bedeutungsvolle Signale zu geben und anderen Teams zusätzliche Metriken zur Verfügung zu stellen, um informierte Entscheidungen zu treffen (Ablationen).

Ihre Verantwortlichkeiten
Wir sind eine Mischung aus Forschern und Ingenieuren, und Sie unterstützen unsere Ingenieurefforts. Wichtige Punkte sind die Verbesserung der Testbarkeit unseres Codes durch Design- und Architekturänderungen sowie die Verringerung der Zeit, die für eine End-to-End-Integration eines neuen Benchmarks benötigt wird. Sie treiben diese Änderungen durch inkrementelle, praktische Modifikationen unseres Codes voran. Gleichzeitig wird von Ihnen erwartet, dass Sie an kleineren täglichen Aufgaben arbeiten, z.B. unsere Repositories warten, ein sporadisches Benchmark-Ergebnis untersuchen oder einen Out-of-Memory-Fehler beheben. Kein Tag ist wie der andere. Die Dinge bewegen sich schnell, und Ihre Fähigkeit, sich zu konzentrieren und Prioritäten zu setzen, ermöglicht es Ihnen, das Team täglich zu entlasten, während Sie die Werkzeuge und Automatisierungen entwerfen, die uns langfristig beschleunigen. Sie haben echten Einfluss darauf, was gebaut wird und wie. Ihre Arbeit prägt direkt, wie schnell wir experimentieren und unsere Modelle verbessern können.

Anforderungen
Fähiger, motivierter und offener Mensch, der in einem dynamischen Umfeld gedeiht: LLMs entwickeln sich schnell weiter, und wir pflegen flache Hierarchien sowie die Möglichkeit, in einer Vielzahl von Bereichen Einfluss zu nehmen. Daher suchen wir vor allem hoch talentierte Personen, die in einem solchen Umfeld gedeihen. Sie sollten etwas Einzigartiges hinzufügen, das unsere Bemühungen unterstützt, aber niemand muss eine lange Liste von Anforderungen erfüllen. Bereitschaft, nach Deutschland umzuziehen. Unsere Hauptarbeitsorte sind Heidelberg und Berlin. Wir fördern eine Vor-Ort-Kultur mit direkter Kommunikation und Zusammenarbeit. Daher sollten Sie mindestens zwei Tage pro Woche an Ihrem Hauptarbeitsort vor Ort sein. Wenn Sie sich für Berlin entscheiden, sollten Sie bereit sein, alle ein bis zwei Monate für einige Tage nach Heidelberg (unser Hauptsitz) zu reisen.

Kernqualifikationen
Software-Ingenieur mit der Fähigkeit, Code zu schreiben, auf dem andere starke Ingenieure aufbauen möchten. Fähigkeit, einen Code-Basis mit angesammelter Komplexität schrittweise in einen testbareren und erklärbaren Zustand zu überführen. Erklärer: Viele Entscheidungen treffen wir gemeinsam. Die Kommunikation und Überzeugung des Teams von Ihren Ideen ist eine entscheidende Fähigkeit. Initiativen ergreifen, um hochwirksame Arbeiten voranzutreiben und zu liefern. Abschluss in Informatik, Ingenieurwesen oder einem verwandten Bereich. Starke Python-Kenntnisse. Tiefes Interesse an und die Bereitschaft, über das Training von LLMs zu lernen.

Bevorzugte Qualifikationen
Erfahrung mit verteilten Systemen. Erfahrung mit Infrastruktur-Tools und Container-Orchestrierung wie Docker, Kubernetes, Infrastruktur als Code usw. Erfahrung mit LLM-Evaluierung, Benchmark-Design oder Evaluierungsdatensatz-Kuration. Verständnis des Trainings von Grundmodellen: wie Daten, Skalierung und Architektur die Fähigkeiten beeinflussen. Vertrautheit mit statistischen Methoden.

Was wir bieten
Werden Sie Teil einer KI-Revolution! 30 Tage bezahlter Urlaub Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub Psychische Gesundheitsunterstützung durch nilo.health Substantielle subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit Subventioniertes deutschlandweites Verkehrsticket Budget für zusätzliches technisches Equipment Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell Virtual Stock Option Plan JobRad Fahrrad-Leasing.