Senior LLM Scientist (m/f/d)

Resaro wurde mit dem Glauben gegründet, dass KI die Welt auf unvorstellbare Weise verändern wird, aber jede neue Technologie benötigt Sicherheitsvorkehrungen, um voranzukommen. Wir suchen einen Senior LLM Scientist mit Erfahrung in tiefenlernenden Sprachmodellen, der in München ansässig ist und mit einem kategoriedefinierenden KI-Sicherheitsunternehmen zusammenarbeitet, das Unternehmen hilft, ihre KI-Systeme zu testen und zu prüfen.

Sie werden helfen, KI-Modelle zu bewerten und auf ihre Eignung und Sicherheit für den Einsatz zu testen. Wir schätzen starke technische Fähigkeiten und praktische Erfahrungen, und es wird Raum geben, herausfordernde Probleme zu lösen und modernste Technologien in Geschäftsanwendungen zu integrieren.

IHRE AUFGABEN

• Leitung des Designs, der Implementierung und Ausführung robuster Rahmenwerke zur Bewertung der Leistung generativer KI-Systeme, einschließlich Text- und multimodaler Modelle.
• Festlegung und Verfeinerung von Metriken und Benchmarks für die Modellqualität, einschließlich Ausgabe-Fidelität, Vielfalt, Kreativität und Bias-Erkennung.
• Durchführung technischer KI-Bewertungen, Benchmarking und „Red-Team“-Tests an großen Sprachmodellen.
• Zusammenarbeit mit Kunden und weniger erfahrenen Teammitgliedern zur Gestaltung maßgeschneiderter Bewertungsansätze.
• Zusammenarbeit mit dem Produktmanagementteam zur Entwicklung einer Suite technischer und analytischer KI-Bewertungsrahmen und -tools.
• Leitung des Designs und der Implementierung von Bewertungsrahmen für große Sprachmodelle (LLMs).
• Definition und Verfeinerung von Metriken zur Bewertung der Modellleistung.
• Leitung der Bemühungen um die Kuratierung und Verwaltung großer, hochwertiger Datensätze zur Bewertung von LLMs.
• Mentoring von Junior-Datenwissenschaftlern in Best Practices für LLM-Bewertungen.
• Aktualisierung über die neuesten Fortschritte in der Verarbeitung natürlicher Sprache (NLP) und LLM-Bewertungen.

IHRE FÄHIGKEITEN

• Denken aus ersten Prinzipien und die Bereitschaft, herausfordernde technische Probleme interdisziplinär anzugehen.
• Führung durch Beispiel, unabhängig davon, ob Sie Manager oder individueller Mitarbeiter sind.
• Kommunikation in offener, ehrlicher und respektvoller Weise.
• Blühen in einem schnelllebigen Umfeld.
• Umgang mit Unsicherheit und die Bereitschaft, zu erkunden, während Sie sich auf die Mission konzentrieren.

IHRE QUALIFIKATIONEN

• Umfangreiche Erfahrung als Datenwissenschaftler in der Ausbildung oder Bereitstellung von tiefenlernenden Sprachmodellen in realen Kontexten.
• Etwa 5-8 Jahre Berufserfahrung oder ein relevanter postgradualer Abschluss mit mehr als 2 Jahren Berufserfahrung in der Entwicklung und Bereitstellung von LLMs.
• Starke Erfahrung in der Bewertung von LLMs mit Metriken wie Perplexität, BLEU, ROUGE.
• Nachweisliche Erfahrung in der Verwaltung und Analyse großer, komplexer Sprachdatensätze.
• Ausgezeichnete schriftliche und mündliche Kommunikationsfähigkeiten.
• Solide Programmierkenntnisse in Python und Erfahrung im Aufbau automatisierter Pipelines für die kontinuierliche Modellbewertung.
• Leidenschaft und Interesse an angewandter Forschung zur sicheren und verantwortungsvollen Nutzung von KI.

WÜNSCHENSWERT

• Veröffentlichte Forschung im Bereich generative KI oder Modellauswertung.
• Praktische Erfahrung mit Tools und Methoden zur Erklärbarkeit von Modellen.
• Vertrautheit mit cloudbasierten Plattformen für skalierbare Modellbewertungen und Bereitstellungen.

ÜBER UNS

Resaro ist ein globales Unternehmen für KI-Sicherheit, das im Bereich KI-Tests und -Bewertungen Pionierarbeit leistet. Wir sind ein Team von KI-Experten, Ingenieuren und Datenwissenschaftlern. Unsere Mission ist es, einen vertrauenswürdigen KI-Markt zu gewährleisten. Resaro ist ein Arbeitgeber, der Chancengleichheit bietet. Wir respektieren jedes Individuum und unterstützen die vielfältigen Kulturen, Perspektiven, Fähigkeiten und Erfahrungen innerhalb unserer Teams.