Software Engineer, Data & AI Platform (m/f/x)

Wir sind Cortea, ein Berliner Startup, das Audits mit KI transformiert. Unsere KI-gestützte Software und spezialisierten KI-Agenten entfernen die repetitive Arbeit, damit Auditoren sich auf ihr Urteil konzentrieren können. Wir suchen einen Ingenieur mit umfangreicher Erfahrung in der Datenverarbeitung und KI-Systemen, um die Daten-, Evaluierungs- und Beobachtungsgrundlage für produktionsreife LLM-Agenten zu schaffen, die in komplexen Audit-Workflows eingesetzt werden.

In dieser Rolle arbeiten Sie an der Schnittstelle von Backend-Engineering, Datenengineering, KI-Infrastruktur und LLM-Operationen. Sie werden praktisch in unserer Backend- und Agentenarchitektur arbeiten und Systeme entwickeln, die uns helfen, KI-Agenten in der Produktion zu bewerten, zu überwachen, zu debuggen, zu optimieren und kontinuierlich zu verbessern.

Was Sie tun werden:

• Aufbau von Online- und Offline-Evaluierungssystemen für LLM-Agenten, einschließlich Pipelines, die goldene Datensätze, Ground-Truth-Daten, menschliche Überprüfungs-Workflows und Experimentergebnisse nutzen.
• Erstellung automatisierter Qualitätskontrollen, damit Änderungen an Eingabeaufforderungen, Kontext, Modellen oder Agentenlogik getestet werden können, bevor sie in die Produktion gelangen.
• Analyse großer Mengen von Agententraces und Ausführungen zur Identifizierung von Fehlermodi, Qualitätsrückgängen, Latenzproblemen, Zuverlässigkeitslücken und Kostenoptimierungsmöglichkeiten.
• Arbeiten mit spaltenbasierten Datenspeichern und analytischen Datenbanken wie BigQuery, ClickHouse oder ähnlichen Technologien.
• Aufbau zuverlässiger Datenaufbewahrungs- und Wiederholmechanismen für die langfristige Analyse des Verhaltens von Produktionsagenten.
• Erstellung von Beobachtungswerkzeugen für Trace-Analysen, Experimentüberwachung, Produktionsdashboards, Protokollierung, Nachverfolgung und Debugging.
• Arbeiten innerhalb unserer Kern-Backend- und Agentenarchitektur, einschließlich des Aufbaus neuer Agenten oder der Verbesserung bestehender Agenten, wenn nötig.

Qualifikationen:

• Starke Python- und/oder Backend-Engineering-Erfahrung.
• Starke SQL-Kenntnisse und die Fähigkeit, mit großen Datensätzen zu arbeiten.
• Erfahrung in der Bereitstellung und dem Betrieb von Systemen in der Cloud, idealerweise auf GCP.
• Praktische Erfahrung im Entwurf von Datenpipelines, ETL/ELT-Workflows, Ereignisverarbeitungssystemen oder Feedbackschleifen für Produktionsdaten.
• Komfort im Umgang mit analytischen Datenbanken, Data Warehouses, spaltenbasierten Speichern und hochvolumigen Ereignis- oder Trace-Daten.
• Verständnis von Systemdesign, Zuverlässigkeit, Beobachtbarkeit, Überwachung, Protokollierung, Debugging und betrieblichen Abwägungen.
• Fähigkeit, in komplexen bestehenden Systemen zu arbeiten und schnell ein mentales Modell zu entwickeln, wie sie funktionieren.
• Bringen Sie eine senior-level Ingenieursurteilskraft mit: Sie können architektonische Entscheidungen treffen, Abwägungen kommunizieren und Systeme bauen, die andere Ingenieure erweitern können.
• Komfort mit Unklarheiten, die Fähigkeit, aus ersten Prinzipien zu argumentieren, und Begeisterung für den Aufbau von Infrastrukturen für KI-Systeme, die aktiv in der Produktion verwendet werden.

Nice-to-haves:

• Aufbau von Infrastrukturen rund um LLM-basierte Produkte oder agentische Systeme.
• Arbeiten mit Produktionsspuren aus komplexen verteilten Systemen.
• Aufbau interner Plattformen für Ingenieure, Fachexperten oder Betriebsteams.
• Verwendung von Workflow-Orchestrierungssystemen wie Temporal oder ähnlichem.
• Vertrautheit mit Audit, Finanzen, Compliance oder anderen hochgenauen Bereichen.
• Erfahrung in einem frühen Startup oder einer schnelllebigen Ingenieurumgebung.

Was wir bieten:

• Hoher Einfluss & Wachstum: Gestalten Sie die Strategie eines wachsenden KI-Startups von Anfang an.
• Mission-orientierte Kultur: Ambitioniertes Team, das erst-prinzipielles Denken und mutige Ideen schätzt.
• Attraktive Vergütung: Wettbewerbsfähiges Gehalt plus signifikante Beteiligung.
• Persönliche Entwicklung: Lernbudget für Kurse und Konferenzen.
• Startup-Vorteile: Flexible Urlaubsregelung, Team-Mittagessen, Retreats, zentrales Büro in Berlin.

Wir sind ein Team, das Chancengleichheit fördert und ermutigen Frauen und unterrepräsentierte Gruppen zur Bewerbung.