AI Engineer – LLM Ops & Evaluation

Verantwortlichkeiten

• Eigenverantwortung für die LLMOps-Pipeline: Evaluierung der Infrastruktur, Optimierungsschleife für Eingabeaufforderungen und die Produktionsintegration, die Experimente in zuverlässige kundenorientierte Funktionen umwandelt.
• Entwicklung einer Evaluierungsstrategie pro Ausgabetyp: Entscheidung, wann deterministische Bewertungen (exakte Übereinstimmung, Schema-Validierung, Einbettungen) im Vergleich zu LLM-als-Richter verwendet werden, sowie Erstellung der Bewertungsrichtlinien, Testdatensätze und menschlichen Überprüfungsprozesse, die das System vertrauenswürdig machen.
• Vorantreiben der Eingabeaufforderungsentwicklung und -optimierung in allen LLM-Operationen im Produkt: Übergang von manuell abgestimmten Eingabeaufforderungen zu einem messbaren, iterativen Prozess.
• Die richtige Lösung für jedes Problem auswählen: Einige Probleme sind LLM-Probleme, andere sind Einbettungs- + klassische NLP-Probleme, einige sind deterministische Logik.
• Leitung der Produktionsseite von KI-Funktionen: Beobachtbarkeit (Langfuse/LangSmith/ähnlich), Kosten- und Latenzengineering, Incident-Response, wenn eine LLM-Funktion abnimmt.
• Aufbau von Workflows mit Mensch-in-der-Schleife: Überprüfungswarteschlangen, Feedbackaufnahme, Kennzeichnung, sodass das Produktionssignal in die Bewertungen und die Eingabeaufforderungsiteration zurückfließt.
• Mentoring unserer AI & Analytics Praktikanten und Beitrag zur Entwicklung des AI-Teams über die Zeit.

Anforderungen

• Über 3 Jahre praktische Erfahrung im Aufbau und Versand von ML/AI-Systemen in der Produktion (uns ist wichtiger, was Sie geliefert haben, als die Jahre in einem Lebenslauf).
• Haben eine LLM-Evaluierungs- oder Eingabeaufforderungsoptimierungspipeline geliefert, nicht nur LLMs in einem Projekt verwendet, sondern den gesamten Prozess verantwortet.
• Starke praktische Erfahrung mit LLM-als-Richter, einschließlich seiner Variationsprobleme und konkreten Techniken zu deren Kontrolle.
• Solide Grundlagen in klassischem NLP und ML-Operationen: Einbettungen, semantische Ähnlichkeit, Entitätsabgleich, Klassifikation, unscharfe Übereinstimmung.
• Informierte Meinungen zu deterministischen vs. LLM-basierten Bewertungen aus Erfahrung.
• Produktionsurteil: Sie haben Kosten- und Latenztrade-offs, Beobachtbarkeit und Incident-Response für eine LLM-gesteuerte Funktion verantwortet. Sie sind mit der Eingabeaufforderungsregression vertraut und haben Strategien zu deren Management.
• Starke Python-Kenntnisse.
• Ausgezeichnete Englischkenntnisse in Kommunikation, schriftlich und mündlich: Wir diskutieren täglich nuancierte technische Trade-offs mit dem Gründungsteam und Kunden.
• Komfort mit Ungewissheit: Sie können Experimente mit echten Daten durchführen, Intuition für dieses Gebiet aufbauen und wissen, wann Sie mit der Iteration aufhören sollten.