Auf einen Blick
- Aufgaben: Entwickle Evaluierungsumgebungen für KI-Modelle und skaliere Evaluierungspipelines.
- Unternehmen: Führendes Unternehmen im Bereich KI mit innovativer Kultur.
- Vorteile: Attraktives Gehalt, Gesundheitsleistungen und die Möglichkeit zur Remote-Arbeit.
- Weitere Informationen: Dynamisches Umfeld mit hervorragenden Karrierechancen.
- Warum dieser Job: Gestalte die Zukunft der KI und beeinflusse die Roadmap von NVIDIA.
- Qualifikationen: Mindestens 6 Jahre Erfahrung mit LLMs und Evaluierung von KI-Systemen.
Das prognostizierte Gehalt liegt zwischen 63000 - 77000 € pro Jahr.
In dieser Rolle werden Sie Evaluierungsumgebungen für fortschrittliche KI-Modelle entwerfen und implementieren, einschließlich LLMs und multimodaler Systeme, um überprüfbare Genauigkeitssignale zu erzeugen, die die Modellfreigaben leiten. Sie werden neuartige Evaluierungsmethoden für aufkommende Modellfamilien erforschen und Evaluierungspipelines skalieren, die von Modell-, Produkt- und Forschungsteams verwendet werden. Sie werden bereichsübergreifend zusammenarbeiten, um Signale in konkrete Freigabe- und Iterationsentscheidungen zu übersetzen, während Sie an unternehmensgerechten GPU-Clustern und modernster Hardware arbeiten. Dies ist Ihre Chance, den Fahrplan von NVIDIA zu beeinflussen und die KI-Landschaft zu gestalten.
Verantwortungsbereiche
- Entwurf entscheidungsrelevanter Evaluierungsumgebungen für fortschrittliche Modelle (Schlussfolgerungen, multimodal, lange Kontexte, agentische Systeme)
- Forschung und Entwicklung neuartiger Evaluierungsmethodologien für aufkommende Modellfamilien
- Aufbau und Betrieb von Evaluierungsinfrastruktur und -pipelines (Benchmark-Umgebungen, Regression CI, statistische Werkzeuge)
- Partnerschaft mit Modellforschung, Training und Kunden-Teams zur Übersetzung von Signalen in Freigabentscheidungen und Wettbewerbspositionierung gegenüber externen fortschrittlichen Modellen
Zentrale Anforderungen
- Über 6 Jahre praktische Erfahrung mit LLMs und der Evaluierung großer Sprachmodelle oder multimodaler KI-Systeme
- Starke statistische Grundlagen: Versuchsdesign, Signifikanztests, Regressionsanalyse
- Nachgewiesene Erfahrung im Aufbau von Evaluierungsinfrastruktur (Pipelines, Benchmark-Harnesses, reproduzierbare CI)
- Klare, präzise Kommunikation; Fähigkeit, quantitative Ergebnisse in Entscheidungen für Forscher und Führungskräfte zu übersetzen
- Kollaborative, bereichsübergreifende Denkweise
- Starke Problemlösungs- und analytische Denkfähigkeiten
- Erfahrung mit LLM-Evaluierungen, agentischen/multi-turn/denkschwergewichteten Einstellungen
- Kenntnisse über Open-Source-Evaluierungsrahmen (herausragend)
- Erfahrung in der Messung der Modellgenauigkeit bei Low-Precision-Inferenz (FP8, INT4)
Senior Deep Learning Engineer, Accuracy Evaluation in Burgdorf Arbeitgeber: NVIDIA
NVIDIA ist ein herausragender Arbeitgeber, der nicht nur wettbewerbsfähige Gehälter und umfassende Sozialleistungen bietet, sondern auch eine dynamische Arbeitskultur fördert, die Innovation und Zusammenarbeit in der Robotikbranche anregt. In dieser Schlüsselposition in der EMEA-Region haben Sie die Möglichkeit, ein leistungsstarkes Team zu leiten, strategische Beziehungen aufzubauen und bedeutende Wachstumschancen zu entwickeln, während Sie gleichzeitig von einem Umfeld profitieren, das persönliche und berufliche Weiterentwicklung unterstützt. Werden Sie Teil eines Unternehmens, das die Zukunft intelligenter Maschinen gestaltet und dabei auf eine positive Work-Life-Balance Wert legt.
