AI Engineer, Quality & Evals (m/f/x)

Über uns: Wir sind Cortea, ein Berliner Startup, das Audits mit KI transformiert. Manuelle, dokumentenlastige Audits verschwenden die Zeit von Experten, während die Nachfrage weiter steigt. Unsere KI-gestützte Software und spezialisierten KI-Agenten entfernen die repetitive Arbeit, damit Auditoren sich auf Urteilsvermögen konzentrieren können. Unterstützt von erstklassigen VCs mit über 15 Millionen EUR Finanzierung, mit einem funktionierenden Produkt und zahlenden Kunden, wachsen wir schnell. Wir schätzen Denken in ersten Prinzipien, Geschwindigkeit, Vertrauen und Freundlichkeit. Wir arbeiten Seite an Seite in unserem Büro in Berlin.

Ihre Rolle: Wir suchen einen Ingenieur mit starker Backend-, Daten- und KI-Systemerfahrung, um die Evaluierungs- und Beobachtungsgrundlage für produktionsreife LLM-Agenten zu schaffen, die in komplexen Audit-Workflows eingesetzt werden. Diese Rolle befindet sich an der Schnittstelle von Backend-Engineering, Dateninfrastruktur und KI-Qualität. Sie werden die Evaluierungssysteme entwickeln, die unsere multimodalen Abrufagenten antreiben und kontinuierlich kritische Qualitätsmetriken über aktuelle und zukünftige Pipelines verbessern. Sie werden an der Schnittstelle von angewandter KI und Informationsabruf arbeiten, multimodale agentische Pipelines aufbauen und schwierige Kontext- und Agenten-Harness-Engineering-Probleme lösen. Dies ist keine traditionelle Analyse-, BI- oder Dashboard-Rolle. Sie sollten erwarten, Produktionscode zu schreiben, Datenarchitekturen zu entwerfen, innerhalb von Backend-Systemen zu arbeiten und direkt die Qualität, Kosten, Zuverlässigkeit und Leistung von LLM-basierten Agenten zu verbessern.

Was Sie tun werden: Sie helfen beim Aufbau und Betrieb der technischen Systeme rund um unsere KI-Agenten, mit einem Fokus auf Dateninfrastruktur, Evaluierung, Beobachtbarkeit und Optimierung.

• Online- und Offline-Evaluierungssysteme für LLM-Agenten aufbauen, einschließlich Pipelines, die goldene Datensätze, Ground-Truth-Daten, menschliche Überprüfungs-Workflows und Experimentergebnisse nutzen.
• Automatisierte Qualitätskontrollen erstellen, damit Änderungen an Eingabeaufforderungen, Kontext, Modellen oder Agentenlogik getestet werden können, bevor sie in die Produktion gelangen.
• Große Mengen von Agentenspuren und Ausführungen in spaltenbasierten und analytischen Datenbanken wie BigQuery oder ClickHouse analysieren, um Fehlermuster, Qualitätsrückgänge, Latenzprobleme, Zuverlässigkeitslücken und Möglichkeiten zur Kostenoptimierung zu identifizieren.
• Zuverlässige Datenaufbewahrungs- und Wiederholmechanismen für die langfristige Analyse des Verhaltens von Produktionsagenten aufbauen.
• Beobachtungswerkzeuge für das Tracing, Monitoring, Debugging und das Management von Experimenten unserer Audit-Agenten verwalten.
• Mit Backend-Ingenieuren zusammenarbeiten, um die Geschwindigkeit und Zuverlässigkeit unserer Abruf- und Schlussfolgerungsagenten zu verbessern.

Sie passen in die Rolle, wenn Sie...

• Starke Python- und/oder Backend-Engineering-Erfahrung haben.
• Ein solides Verständnis dafür haben, wie LLM- und Agentensysteme bewertet werden – einschließlich deterministischer Prüfungen, Ground Truth, LLM als Richter, menschliche Überprüfung und Qualitätsmetriken – und darüber nachdenken können, wann jeder Ansatz angemessen ist.
• Systeme in der Cloud bereitgestellt und betrieben haben, idealerweise auf GCP.
• Praktische Erfahrung im Aufbau von End-to-End-Abruf- oder ML-Pipeline-Evaluierungssystemen und der Nutzung von LLM-Beobachtungs- oder Experimentierwerkzeugen wie Braintrust, MLflow, Langfuse oder Weights & Biases haben.
• Komfortabel im Umgang mit analytischen Datenbanken, Data Warehouses, spaltenbasierten Speichern und hochvolumigen Ereignis- oder Spurdaten sind.
• Das Systemdesign, die Zuverlässigkeit, die Beobachtbarkeit, das Monitoring, das Logging, das Debugging und die betrieblichen Abwägungen verstehen.
• Senior-Level-Engineering-Urteilsvermögen mitbringen: Sie können architektonische Entscheidungen treffen, Abwägungen kommunizieren und Systeme bauen, die andere Ingenieure erweitern können.
• Mit Unklarheiten umgehen können, in der Lage sind, aus ersten Prinzipien zu denken, und begeistert sind, Infrastruktur für KI-Systeme aufzubauen, die aktiv in der Produktion verwendet werden.

Nice-to-haves, die ein Plus sind:

• Entwicklung von Datenpipelines, ETL/ELT-Workflows, Ereignisverarbeitungssystemen oder Feedbackschleifen für Produktionsdaten.
• Aufbau von Infrastruktur rund um LLM-basierte Produkte oder agentische Systeme, einschließlich der Optimierung der LLM-Nutzung, Kontextfenster, Schlussfolgerungstoken oder Modellauswahl.
• Arbeiten mit Produktionsspuren aus komplexen verteilten Systemen.
• Aufbau interner Plattformen für Ingenieure, Fachexperten oder Betriebsteams.
• Nutzung von Workflow-Orchestrierungssystemen wie Temporal oder ähnlichem.
• Vertrautheit mit Audit, Finanzen, Compliance oder anderen hochgenauen Bereichen.
• Erfahrung in einem frühen Startup oder einer schnelllebigen Ingenieurumgebung.

Was wir bieten: Hohe Auswirkungen & Wachstum: Gestalten Sie die Strategie eines wachsenden KI-Startups von Anfang an. Mission-driven Kultur: Ambitioniertes Team, das Denken in ersten Prinzipien und mutige Ideen schätzt. Attraktive Vergütung: Wettbewerbsfähiges Gehalt plus signifikante Beteiligung. Beste Werkzeuge für den Job: Großzügiges Budget für Programmierwerkzeuge, damit Sie die besten Werkzeuge für den Job verwenden können. Startup-Vorteile: Flexible Urlaubsregelung, Team-Mittagessen, Retreats, zentrales Büro in Berlin.

Interviewprozess: Erster Anruf – Einführung in Cortea mit Liza. Zweiter Anruf – Technisches Interview mit Vlad. Dritter Anruf – Vertiefung unserer Kultur mit unserem Mitgründer Philipp. Vor-Ort-Tag (Berlin) – Treffen Sie das Team und arbeiten Sie gemeinsam an einem echten Problem.

Wir sind ein Team mit Chancengleichheit und ermutigen Frauen und unterrepräsentierte Gruppen zur Bewerbung.