AI Engineer, Quality & Evals (m/f/x)

Wir sind Cortea, ein Berliner Startup, das Audits mit KI transformiert. Unsere KI-gestützte Software und spezialisierten KI-Agenten entfernen die repetitive Arbeit, damit Auditoren sich auf ihr Urteil konzentrieren können. Wir suchen einen Ingenieur mit starker Backend-, Daten- und KI-Systemerfahrung, um die Evaluierungs- und Beobachtungsgrundlage für produktionsreife LLM-Agenten zu schaffen, die in komplexen Audit-Workflows eingesetzt werden.

Ihre Aufgaben:

• Aufbau von Online- und Offline-Evaluierungssystemen für LLM-Agenten, einschließlich Pipelines, die goldene Datensätze, Ground-Truth-Daten, menschliche Überprüfungs-Workflows und Experimentergebnisse nutzen.
• Erstellung automatisierter Qualitätskontrollen, damit Änderungen an Eingabeaufforderungen, Kontext, Modellen oder Agentenlogik getestet werden können, bevor sie in die Produktion gelangen.
• Analyse großer Mengen von Agentenspuren und Ausführungen in spaltenbasierten und analytischen Datenbanken wie BigQuery oder ClickHouse zur Identifizierung von Fehlerquellen, Qualitätsrückgängen, Latenzproblemen, Zuverlässigkeitslücken und Kostenoptimierungsmöglichkeiten.
• Aufbau zuverlässiger Datenaufbewahrungs- und Wiederholmechanismen für die langfristige Analyse des Verhaltens von Produktionsagenten.
• Verwaltung von Beobachtungswerkzeugen für das Tracing, Monitoring, Debugging und das Management von Experimenten unserer Audit-Agenten.
• Zusammenarbeit mit Backend-Ingenieuren zur Verbesserung der Geschwindigkeit und Zuverlässigkeit unserer Retrieval- und Reasoning-Agenten.

Sie passen in die Rolle, wenn Sie:

• Starke Python- und/oder Backend-Engineering-Erfahrung haben.
• Ein solides Verständnis dafür haben, wie LLM- und Agentensysteme bewertet werden.
• Systeme in der Cloud bereitgestellt und betrieben haben, idealerweise auf GCP.
• Praktische Erfahrung im Aufbau von End-to-End-Retrieval- oder ML-Pipeline-Evaluierungssystemen haben.
• Mit analytischen Datenbanken, Data Warehouses und hochvolumigen Ereignis- oder Spurdaten arbeiten können.
• Systemdesign, Zuverlässigkeit, Beobachtbarkeit, Monitoring, Logging, Debugging und betriebliche Abwägungen verstehen.
• Senior-Level Engineering-Urteilsvermögen mitbringen.
• Mit Unklarheiten umgehen können und begeistert sind, Infrastruktur für KI-Systeme aufzubauen.

Nice-to-haves:

• Entwurf von Datenpipelines, ETL/ELT-Workflows oder Feedback-Schleifen für Produktionsdaten.
• Aufbau von Infrastruktur rund um LLM-basierte Produkte oder agentische Systeme.
• Arbeiten mit Produktionsspuren aus komplexen verteilten Systemen.
• Verwendung von Workflow-Orchestrierungssystemen wie Temporal oder ähnlichem.
• Vertrautheit mit Audit, Finanzen, Compliance oder anderen hochgenauen Bereichen.
• Erfahrung in einem frühen Startup oder schnelllebigen Ingenieurumfeld.

Was wir bieten:

• Hohe Auswirkungen & Wachstum: Gestalten Sie die Strategie eines wachsenden KI-Startups von Anfang an.
• Mission-driven Kultur: Ambitioniertes Team, das erstklassiges Denken und mutige Ideen schätzt.
• Attraktive Vergütung: Wettbewerbsfähiges Gehalt plus signifikante Beteiligung.
• Beste Werkzeuge für den Job: Großzügiges Budget für Programmierwerkzeuge.
• Startup-Vorteile: Flexible Urlaubsregelungen, Team-Mittagessen, Retreats, zentrales Büro in Berlin.

Interviewprozess:

• Erster Anruf — Einführung in Cortea mit Liza
• Zweiter Anruf — Technisches Interview mit Vlad
• Dritter Anruf — Vertiefung unserer Kultur mit unserem Mitbegründer Philipp
• Vor-Ort-Tag (Berlin) — Treffen Sie das Team und arbeiten Sie gemeinsam an einem echten Problem.

Wir sind ein Team mit Chancengleichheit und ermutigen Frauen und unterrepräsentierte Gruppen zur Bewerbung.