Senior AI Software Engineer - Model Evaluation (f/m/d)

Standort: Heidelberg

Beschäftigungsart: Vollzeit

Standorttyp: Hybrid

Abteilung: Forschung

Unsere Mission: Aleph Alpha Research’s Mission ist es, KI-Innovationen zu liefern, die eine offene, zugängliche und vertrauenswürdige Bereitstellung von GenAI in Unternehmensanwendungen ermöglichen. Unsere Organisation entwickelt grundlegende Modelle und Methoden der nächsten Generation, die es den Kunden von Aleph Alpha erleichtern und erschwinglich machen, die Produktivität in den Bereichen Finanzen, Verwaltung, F&E, Logistik und Fertigungsprozesse zu steigern.

Wir suchen qualifizierte Software-Ingenieure, die unserem Forschungsteam mit Sitz in Heidelberg beitreten, mit dem Fokus auf die Bewertung der Fähigkeiten, Sicherheit und Vertrauenswürdigkeit unserer Modelle. Während wir persönliche Arbeit sehr schätzen, bieten wir Flexibilität, um von Berlin oder anderen Orten in Deutschland aus zu arbeiten, mit regelmäßigen Reisen zu Vor-Ort-Veranstaltungen.

Ihre Aufgaben: Als AI Software Engineer in der Modellauswertung werden Sie helfen, die Systeme zu entwerfen, zu implementieren und zu skalieren, die die Leistung unserer Modelle an der Spitze messen. Sie werden eng mit Forschern zusammenarbeiten, um Bewertungsbenchmarks, Datensätze und Umgebungen zu erstellen, die die Fähigkeiten, Sicherheit und Zuverlässigkeit von Modellen über Aufgaben hinweg testen, von mehrsprachigem Verständnis bis hin zu mathematischem Denken und Kreativität.

• Entwurf und Entwicklung skalierbarer Bewertungstools zur Beschleunigung der Forschung und Messung des Modellfortschritts.
• Zusammenarbeit mit Forschern zur Gestaltung von Bewertungsaufgaben und Benchmarks, die auf fortgeschrittene Modellfähigkeiten abzielen.
• Vertiefung in die Evaluierungsleistung, um sicherzustellen, dass unsere Tools effizient im großen Maßstab laufen.
• Aufbau von Pipelines zur Generierung, Kuratierung und Pflege hochwertiger Bewertungsdatensätze.
• Implementierung automatisierter Analysesysteme zur Interpretation von Ergebnissen und zur Hervorhebung von Stärken, Schwächen und Regressionen.
• Zusammenarbeit mit Produktteams zur Gestaltung von Bewertungen, die auf die Bedürfnisse der realen Anwendung abgestimmt sind.
• Beitrag zu Veröffentlichungen und Berichten, die unsere Bewertungsmethoden und Ergebnisse für interne und externe Zielgruppen dokumentieren.
• Mentoring von Ingenieuren und Forschern zu bewährten Verfahren in der Bewertung, Softwareentwicklung und Werkzeugen.
• Mitverantwortung für die Bereitstellung von Bewertungsdatensätzen, -tools und -ergebnissen für die breitere Forschungsgemeinschaft, einschließlich in Apache 2.0 Open-Source-Veröffentlichungen.

Ihr Profil: Wir stellen langsam und gezielt ein. Wir erkennen an, dass wir Top-Talente benötigen, um erstklassige Forschung zu liefern, und wir schätzen Fähigkeit über Erfahrung: Wenn Sie denken, dass Sie gut zu dieser Rolle passen, ermutigen wir Sie, sich zu bewerben, auch wenn Sie nicht alle folgenden Qualifikationen erfüllen.

• Grundqualifikationen: Bachelor-Abschluss in Informatik, Ingenieurwesen oder einem verwandten Bereich.
• Bereitschaft, in Deutschland zu arbeiten. Unsere Hauptarbeitsorte sind Heidelberg (bevorzugt) und Berlin, obwohl es einige Flexibilität gibt, von anderen Standorten in Deutschland aus zu arbeiten, mit regelmäßigen Reisen nach Heidelberg, die regelmäßig, möglicherweise wöchentlich, erwartet werden.
• Beherrschung der Programmierung und Leidenschaft für die Erstellung hochwertiger, wartbarer Software unter Beachtung bewährter Verfahren in der Softwareentwicklung (z.B. TDD, DDD).
• Neugier, tief in die Funktionsweise von Modellen einzutauchen und deren Fähigkeiten zu messen.
• Wunsch, Verantwortung für Probleme zu übernehmen und mit anderen Teams zusammenzuarbeiten, um diese zu lösen.
• Motivation, KI-bezogene Themen zu lernen und sich mit dem neuesten Stand der Technik vertraut zu machen.
• Starke Kommunikationsfähigkeiten, mit der Fähigkeit, technische Lösungen verschiedenen Zielgruppen zu vermitteln.

• Bevorzugte Qualifikationen: Master- (oder PhD-) Abschluss in Informatik oder verwandten Bereichen.
• Vertrautheit mit Bewertungs- und Benchmarking-Frameworks für KI-Modelle.
• Erfahrung in der Arbeit mit verteilten Systemen für die Verarbeitung großer Datenmengen oder die Orchestrierung von Bewertungen.
• Erfahrung in der Erstellung, Annotation und Kuratierung von Datensätzen für komplexe KI-Aufgaben.
• Vertrautheit mit LLM-Architekturen, beliebten NLP-Tools (z.B. PyTorch, HF Transformers) und automatisierten Bewertungstechniken (z.B. LLM als Richter, Mehrfachbewertung).
• Erfahrung in der Gestaltung von Bewertungen für Sicherheit, Vertrauenswürdigkeit und Verzerrungen in KI-Systemen.
• Starke Fähigkeiten in der Datenvisualisierung, Dashboard-Erstellung und Berichterstattung über Bewertungsergebnisse.
• Vertrautheit mit Cluster-Management-Systemen, Modell-/Datenverlauf und MLOps-Workflows.

Wir verlangen keine vorherige Erfahrung in KI für diese Rolle, schätzen jedoch die Bereitschaft zu lernen. Wenn Sie über vorherige Erfahrungen in KI verfügen, sind wir besonders begeistert von Ihrer Fähigkeit, Bewertungserkenntnisse in umsetzbare Verbesserungen für Modelle und Systeme zu übersetzen.

Unsere Grundsätze: Wir glauben, dass die Verkörperung dieser Werte Sie zu einer großartigen Ergänzung unseres Teams machen würde:

• Wir übernehmen die Arbeit von Anfang bis Ende, von der Idee bis zur Produktion: Sie übernehmen die Verantwortung für jede Phase des Prozesses und stellen sicher, dass unsere Arbeit vollständig, skalierbar und von höchster Qualität ist.
• Wir liefern, was wichtig ist: Ihr Fokus liegt darauf, echte Probleme für unsere Kunden und die Forschungsgemeinschaft zu lösen. Sie priorisieren die Bereitstellung wirkungsvoller Lösungen, die Wert bringen und einen Unterschied machen.
• Wir arbeiten transparent: Sie arbeiten zusammen und teilen Ihre Ergebnisse offen mit dem Team, Partnern, Kunden und der breiteren Gemeinschaft durch Veröffentlichung und Teilen von Ergebnissen und Erkenntnissen, einschließlich Blogbeiträgen, Artikeln, Checkpoints und mehr.
• Wir innovieren, indem wir unsere intrinsischen Motivationen und Talente nutzen: Wir streben nach technischer Tiefe und balancieren die Ideen und Interessen unseres Teams mit unserem mission-driven Ansatz und nutzen die interdisziplinären, vielfältigen Perspektiven in unserer Teamarbeit.

Was Sie von uns erwarten können: Werden Sie Teil einer KI-Revolution!

• 30 Tage bezahlter Urlaub
• Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
• Psychische Gesundheitsunterstützung durch nilo.health
• Substantielle Förderung der betrieblichen Altersvorsorge für Ihre zukünftige Sicherheit
• Subventioniertes deutschlandweites Verkehrsticket
• Budget für zusätzliche technische Ausrüstung
• Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
• Virtuelles Aktienoptionsprogramm
• JobRad Fahrrad-Leasing