AI Engineer for LLM Ops & Evaluation (m/f/d)

Sie werden Teil eines frühen, KI-nativen Startups mit einem Produkt, das bereits einen nachgewiesenen Marktbedarf hat. Wir entwickeln modernste KI-Lösungen für Governance, Risiko und Compliance (GRC) für Unternehmen weltweit. Unsere Kunden sind Prüfer, Risikomanager und Compliance-Teams, was bedeutet, dass Evaluierungsrigor, Auditierbarkeit und die Bereitschaft für das EU AI-Gesetz keine nachträglichen Überlegungen für uns sind, sondern Produktanforderungen.

Aufgaben

• Besitzen Sie die LLMOps-Pipeline: Bewerten Sie die Infrastruktur, den Prompt-Optimierungsschleifen und die Produktionsintegration, die Experimente in zuverlässige kundenorientierte Funktionen umwandelt.
• Entwickeln Sie eine Evaluierungsstrategie pro Ausgabetyp: Entscheiden Sie, wann deterministische Bewertungen (exakte Übereinstimmung, Schema-Validierung, Einbettungen) vs. LLM-as-Judge verwendet werden sollen, und erstellen Sie die Rubriken, Testdatensätze und menschlichen Überprüfungsprozesse, die das System vertrauenswürdig machen.
• Führen Sie die Prompt-Engineering- und Optimierungsprozesse in allen LLM-Operationen im Produkt durch: Übergang von handoptimierten Prompts zu einem messbaren, iterativen Prozess.
• Wählen Sie das richtige Werkzeug für jedes Problem: Einige Dinge sind LLM-Probleme, einige sind Einbettungs- + klassische NLP-Probleme, einige sind deterministische Logik.
• Leiten Sie die Produktionsseite der KI-Funktionen: Beobachtbarkeit (Langfuse / LangSmith / ähnlich), Kosten- und Latenzengineering, Vorfallreaktion, wenn eine LLM-Funktion abnimmt.
• Erstellen Sie Workflows mit Mensch-in-der-Schleife: Überprüfungswarteschlangen, Feedbackaufnahme, Kennzeichnung; damit das Produktionssignal in die Bewertungen und die Prompt-Iteration zurückfließt.
• Mentorieren Sie unseren AI & Analytics Praktikanten und tragen Sie dazu bei, wie wir das KI-Team im Laufe der Zeit aufbauen.

Anforderungen

• 3+ Jahre praktische Erfahrung im Aufbau und Versand von ML/AI-Systemen in der Produktion (uns interessiert mehr, was Sie geliefert haben, als die Jahre in einem Lebenslauf).
• Haben Sie eine LLM-Evaluierungs- oder Prompt-Optimierungspipeline geliefert, nicht nur LLMs in einem Projekt verwendet, sondern den Prozess besessen.
• Starke praktische Erfahrung mit LLM-as-Judge, einschließlich seiner Variationsprobleme und konkreten Techniken zu deren Kontrolle.
• Solide Grundlagen in klassischem NLP und ML-Operationen: Einbettungen, semantische Ähnlichkeit, Entitätsabgleich, Klassifikation, unscharfe Übereinstimmung.
• Informierte Meinungen zu deterministischen vs. LLM-basierten Bewertungen, basierend auf Erfahrung.
• Produktionsurteil: Sie haben Kosten- und Latenztrade-offs, Beobachtbarkeit und Vorfallreaktion für eine LLM-gesteuerte Funktion besessen. Sie sind mit der Rückschrittprüfung von Prompts vertraut und haben Strategien zu deren Verwaltung.
• Stark in Python.
• Ausgezeichnete Englischkenntnisse in Kommunikation, schriftlich und mündlich: Wir diskutieren täglich nuancierte technische Trade-offs mit dem Gründungsteam und den Kunden.
• Komfort mit Unklarheiten: Sie können Experimente mit echten Daten durchführen, Intuition für dieses Gebiet aufbauen und wissen, wann Sie mit der Iteration aufhören sollten.

Schön zu haben

• Praktische Erfahrung mit LLM-Beobachtungs- und Bewertungswerkzeugen (Langfuse, LangSmith, Phoenix/Arize, Helicone, Braintrust, W&B).
• Erfahrung mit DSPy oder ähnlichen Prompt-Optimierungsrahmen und Meinungen dazu, wo sie funktionieren und wo nicht.
• Erfahrung mit Azure OpenAI in EU-Regionen oder mit EU-souveränen Anbietern (Mistral, Aleph Alpha).
• Einblick in Sicherheitsvorkehrungen, Inhaltsicherheit oder KI-Governance.
• Einblick in Unternehmenssoftware, idealerweise GRC, Compliance, Audit oder regulierte Branchen.
• Vertrautheit mit Java/Spring Boot oder Kubernetes auf Azure; genug, um sauber zu integrieren.

Vorteile

• Praktische Verantwortung für ein echtes KI-Produkt, das von Unternehmenskunden genutzt wird.
• Direkte Zusammenarbeit mit dem Gründungsteam ab dem ersten Tag.
• Hybrides Arbeitsmodell: München Nord, mindestens einen Tag pro Woche im Büro, ansonsten flexibel (offen für starke Kandidaten anderswo in der EU für die richtige Passung); Einarbeitung erfolgt vor Ort.
• Eine steile Lernkurve an der Schnittstelle von LLM-Engineering, Unternehmens-GRC und Startup-Operationen.
• Die Chance, das KI-Team zu gestalten, während wir wachsen.

Auxilius .ai entwickelt KI-gestützte GRC-Lösungen für Unternehmen. Wir sind ein frühes, schnell wachsendes Unternehmen, das von echten Kunden unterstützt wird. Unser Tech-Stack umfasst Java & Spring Boot, Angular, Kubernetes auf Azure sowie OpenAI & Anthropic LLMs.