Senior AI Engineer - Agentic AI Evaluation Brain Team · Munich, Singapore ·

Resaro ist ein unabhängiges, drittanbieter AI Assurance Unternehmen. Wir entwickeln die Software und führen die Bewertungen durch, die es Unternehmen und öffentlichen Einrichtungen ermöglichen, KI zu implementieren, der sie tatsächlich vertrauen können - in den Bereichen Computer Vision, LLMs, Vision-Language-Modelle und zunehmend agentische sowie autonome Systeme für Kunden in Regierung, Verteidigung und regulierten kommerziellen Sektoren.

Unser Produkt, die Approved Intelligence Platform (AIP), ist der Ort, an dem dies zu echter Software wird: Kunden registrieren die KI-Systeme, die sie testen möchten, führen strenge Bewertungen durch und erstellen verteidigbare, prüfbare Nachweise und Berichte. Agentische KI bewegt sich schneller als je zuvor von Pilotprojekten in operationale, risikobehaftete Einsätze, wobei die überwiegende Mehrheit der Agenten-Piloten vor der Produktion aufgrund von Governance-, Rückverfolgbarkeits- und Zuverlässigkeitslücken scheitert, nicht aufgrund von Rohfähigkeiten. Diese Lücke zu schließen, ist das Produkt. Das werden Sie aufbauen.

Wir suchen einen Senior Engineer, der unser Ansprechpartner für die Bewertung agentischer KI wird - der technische Verantwortliche dafür, wie AIP misst, ob werkzeugbenutzende, mehrstufige Agenten einsatzbereit sind. Sie werden die Bewertungsmaschine hinter unserem agentischen MVP und den Fahrplan darüber hinaus aufbauen und die Person sein, an die sich das Team wendet, wenn eine agentische Frage schwierig ist. Während autonome und verkörperte Systeme reifen, werden Sie helfen, denselben rigorosen Ansatz in diese aufkommenden Bereiche zu übertragen.

Dies ist eine praktische Rolle als individueller Beitragender mit Fachverantwortung. Sie berichten an den Engineering Manager für die Bewertungsmaschine und arbeiten eng mit dem Produktteam zusammen, das den Fahrplan besitzt. Sie setzen die technischen Standards für diesen Bereich; Sie übernehmen keine Linienführung.

Was Sie tun werden:

• Besitzen Sie die agentische Bewertungsmaschine. Entwickeln Sie die Fähigkeit, die Agenten anhand der wichtigen Metriken zu bewerten - Absichtserfüllung, Werkzeugauswahl und Parameterisierungsgenauigkeit, Aufgabenadhärenz, Planungsqualität, Reihenfolge der Werkzeugaufrufe, Vollständigkeit der Antworten im Vergleich zu einem Referenzwert und wann ein Agent einen Menschen um Rat fragen sollte.
• Bewerten Sie zustandsbehaftetes, mehrstufiges Verhalten - nicht nur einzelne Eingabeaufforderungen. Agenten haben Gedächtnis und agieren über lange Zeiträume; Ihre Testumgebungen müssen aufzeigen, wie sich das Verhalten über eine Sitzung hinweg verändert, verschlechtert oder unsicher wird.
• Gestalten Sie die Bewertung vertrauenswürdig. Entwerfen Sie für die Integrität des Bewertenden: isolieren Sie den Ausführenden vom Agenten, setzen Sie auf Semantik und nicht nur auf Struktur, zählen Sie abgestürzte/unvollständige Aufgaben als Fehler, prüfen Sie die Grundwahrheit und erstellen Sie Tests, die das Testsetup selbst überprüfen. Ein Benchmark, dem man nicht vertrauen kann, ist schlimmer als keiner.
• Erstellen Sie die agentische Sicherheitsoberfläche. Arbeiten Sie an Red-Teaming und adversarialer Bewertung - Werkzeugkettenausnutzung, RBAC- und Berechtigungsübertragungsfehler, mehrstufige Sicherheitsverschlechterung - damit wir erkennen, was ein motivierter Gegner ausnutzen würde.
• Schließen Sie die Lücke zwischen Labor und Produktion. Entwerfen Sie Bewertungen, die aufzeigen, wo Agenten, die in einer Demo gut aussehen, in einem realen, kundenspezifischen Einsatz scheitern - die Lücke, die unabhängige Sicherstellung notwendig macht.
• Übersetzen Sie Governance in Engineering. Arbeiten Sie mit unseren Governance-Analysten zusammen, um Anforderungen des EU AI Act, NIST AI RMF und ISO 42001 in konkrete, testbare Bewertungslogik umzuwandeln.
• Setzen Sie die technischen Standards für den Bereich - durch Spikes, ADRs und Code-Reviews - und halten Sie Ihr Denken nachvollziehbar, damit das Team darauf aufbauen kann.
• Erweitern Sie sich in aufkommende Autonomie. Wenn verkörperte und andere autonome Systeme reale Bewertungsziele werden, helfen Sie uns, die Maschine an sie anzupassen.

Was wir suchen:

• 5+ Jahre professionelle Softwareentwicklung, Bereitstellung und Betrieb von Produktionssystemen (keine Prototypen) in Python.
• Nachgewiesene Tiefe in agentischer KI - Sie haben LLM-Agenten entwickelt, orchestriert oder rigoros bewertet und verstehen Werkzeugaufrufe, Gedächtnis, mehrstufigen Kontrollfluss und moderne Interoperabilität (MCP für Werkzeuge, A2A für Agent-zu-Agent) über ein Tutorial-Niveau hinaus.
• Ein echtes Verständnis dafür, wie Agenten gemessen werden - und wie Messungen fehlschlagen. Sie kennen die standardmäßigen ausführungsgestützten Benchmarks (GAIA, τ²-bench, OSWorld, SWE-bench Verified, WebArena) und warum ein hoher Benchmark-Score häufig die Produktionszuverlässigkeit überbewertet.
• Starkes ingenieurtechnisches Urteilsvermögen - Sie können ein mehrdeutiges, forschungsnahes Problem abgrenzen, zerlegen und zu einem ausgelieferten, getesteten, beobachtbaren Ergebnis ohne enge Aufsicht führen.
• Eine echte Neigung, tief zu gehen und praktisch zu bleiben, gepaart mit der Kommunikation, um die Person zu sein, an die andere für dieses Fachgebiet kommen - Sie dokumentieren Entscheidungen und hinterlassen Arbeit, die andere übernehmen können.
• Klare schriftliche und mündliche Kommunikation sowie die Bereitschaft, sich an konkreten vierteljährlichen Ergebnissen messen zu lassen, auch in einem verteilten Team zwischen Singapur und Europa.

Nice to Have:

• Agentische Sicherheit / Red-Teaming-Erfahrung - adversarielle Tests, Jailbreak/Werkzeugkettenausnutzung oder Agentenidentität und Autorisierung im Namen von.
• Bewertungs-, Test- oder Assurance-Tools für irgendeinen KI-Bereich - LLM/RAG, agentisch oder Computer Vision - einschließlich LLM-als-Richter-Pipelines und deren Fehlermodi.
• Vertrautheit mit KI-Governance-Rahmenwerken (EU AI Act, NIST AI RMF, ISO 42001) und der Übersetzung von Prinzipien in technische Anforderungen.
• Exposition gegenüber aufkommender verkörperter / autonomer KI - vision-language-action Modelle, Simulatoren oder Weltmodellansätze (ein Plus, keine Voraussetzung).
• Datenintensive Pipelines mit spaltenbasierten/Lakehouse-Formaten (Parquet/Iceberg) und DuckDB oder ähnlichem.
• Containerbasierte oder serverlose Ausführungsframeworks (Nuclio oder vergleichbar) zur Durchführung von Bewertungen in großem Maßstab.
• Kubernetes/Helm und GPU/CUDA-Infrastruktur für Modellinferenz.
• Erfahrung, bei der Nachweisbarkeit, Prüfbarkeit und Reproduzierbarkeit erste Klasse Anforderungen waren (regulierte, sicherheitskritische oder verteidigungsrelevante Kontexte).

Resaro ist ein Arbeitgeber, der Chancengleichheit bietet. Wir respektieren jede Person und unterstützen die vielfältigen Kulturen, Perspektiven, Fähigkeiten und Erfahrungen innerhalb unserer Teams.