Software Engineer, Data & AI Platform (m/f/x)

Über uns: Wir sind Cortea, ein Berliner Startup, das Audits mit KI transformiert. Manuelle, dokumentenlastige Audits verschwenden die Zeit von Experten; wir automatisieren die sich wiederholenden Teile, damit sich Experten auf ihr Urteil konzentrieren können. Unterstützt von erstklassigen VCs mit über 10 Millionen Euro Finanzierung, einem live Produkt und zahlenden Kunden. Wir schätzen Denken in ersten Prinzipien, Geschwindigkeit, Vertrauen und Freundlichkeit. Wir arbeiten Seite an Seite in unserem Büro in Berlin.

Ihre Rolle: Wir suchen einen Ingenieur mit umfangreicher Erfahrung in der Datenverarbeitung und KI-Systemen, um die Daten-, Evaluierungs- und Beobachtungsgrundlage für produktionsreife LLM-Agenten zu schaffen, die in komplexen Audit-Workflows eingesetzt werden. Diese Rolle befindet sich an der Schnittstelle von Backend-Engineering, Datenengineering, KI-Infrastruktur und LLM-Betrieb. Sie werden praktisch in unserer Backend- und Agentenarchitektur arbeiten und die Systeme aufbauen, die uns helfen, KI-Agenten in der Produktion zu bewerten, zu überwachen, zu debuggen, zu optimieren und kontinuierlich zu verbessern.

Was Sie tun werden: Sie werden helfen, die technische Infrastruktur rund um unsere KI-Agenten aufzubauen und zu betreiben, mit einem Fokus auf Dateninfrastruktur, Evaluierung, Beobachtbarkeit und Optimierung. Ihre Arbeit wird Folgendes umfassen:

• Aufbau von Online- und Offline-Evaluierungssystemen für LLM-Agenten, einschließlich Pipelines, die goldene Datensätze, Ground-Truth-Daten, menschliche Überprüfungs-Workflows und Experimentergebnisse nutzen.
• Erstellung automatisierter Qualitätssicherungen, damit Änderungen an Eingabeaufforderungen, Kontext, Modellen oder Agentenlogik getestet werden können, bevor sie in die Produktion gelangen.
• Analyse großer Mengen von Agentenspuren und Ausführungen, um Fehlermuster, Qualitätsrückgänge, Latenzprobleme, Zuverlässigkeitslücken und Möglichkeiten zur Kostenoptimierung zu identifizieren.
• Arbeiten mit spaltenbasierten Datenspeichern und analytischen Datenbanken wie BigQuery, ClickHouse oder ähnlichen Technologien.
• Aufbau zuverlässiger Datenaufbewahrungs- und Wiederholmechanismen für die langfristige Analyse des Verhaltens von Produktionsagenten.
• Erstellung von Beobachtbarkeitstools für die Spurenauswertung, Experimentüberwachung, Produktionsdashboards, Protokollierung, Nachverfolgung und Debugging.
• Arbeiten innerhalb unserer Kern-Backend- und Agentenarchitektur, einschließlich des Aufbaus neuer Agenten oder der Verbesserung bestehender Agenten, wenn nötig.

Qualifikationen: Sie passen in diese Rolle, wenn Sie:

• Starke Python- und/oder Backend-Engineering-Erfahrung haben.
• Starke SQL-Kenntnisse besitzen und mit großen Datensätzen vertraut sind.
• Systeme in der Cloud bereitgestellt und betrieben haben, idealerweise auf GCP.
• Praktische Erfahrung im Entwerfen von Datenpipelines, ETL/ELT-Workflows, Ereignisverarbeitungssystemen oder Feedbackschleifen für Produktionsdaten haben.
• Mit analytischen Datenbanken, Data Warehouses, spaltenbasierten Speichern und hochvolumigen Ereignis- oder Spurdaten vertraut sind.
• Systemdesign, Zuverlässigkeit, Beobachtbarkeit, Überwachung, Protokollierung, Debugging und betriebliche Abwägungen verstehen.
• In komplexen bestehenden Systemen arbeiten können und schnell ein mentales Modell entwickeln, wie sie funktionieren.
• Senior-Level Engineering-Urteilsvermögen mitbringen: Sie können architektonische Entscheidungen treffen, Abwägungen kommunizieren und Systeme bauen, die andere Ingenieure erweitern können.
• Mit Unklarheiten umgehen können, in der Lage sind, aus ersten Prinzipien zu argumentieren, und begeistert sind, Infrastruktur für KI-Systeme zu schaffen, die aktiv in der Produktion verwendet werden.

Nice-to-haves, die ein Plus sind:

• Aufbau von Infrastruktur rund um LLM-basierte Produkte oder agentische Systeme, einschließlich der Optimierung der LLM-Nutzung, Kontextfenster, Denk-Tokens oder Modellauswahl.
• Arbeiten mit Produktionsspuren aus komplexen verteilten Systemen.
• Aufbau interner Plattformen für Ingenieure, Fachexperten oder Betriebsteams.
• Verwendung von Workflow-Orchestrierungssystemen wie Temporal oder ähnlichem.
• Vertrautheit mit Audit, Finanzen, Compliance oder anderen hochgenauen Bereichen.
• Erfahrung in einem Startup in der Frühphase oder einer schnelllebigen Ingenieurumgebung.

Niemand erfüllt jedes Kriterium. Wenn Sie Retrieval-Systeme entwickelt haben und gerne Bewertungen und Pipelines übernehmen, lassen Sie uns sprechen.

Was wir bieten: Hohe Auswirkungen & Wachstum: Gestalten Sie die Strategie eines wachsenden KI-Startups von Anfang an. Mission-driven Kultur: Ambitioniertes Team, das Denken in ersten Prinzipien und mutige Ideen schätzt. Attraktive Vergütung: Wettbewerbsfähiges Gehalt plus signifikante Beteiligung. Persönliche Entwicklung: Lernbudget für Kurse und Konferenzen. Startup-Vorteile: Flexible Urlaubsregelung, Team-Mittagessen, Retreats, zentrales Büro in Berlin.

Interviewprozess: Erster Anruf – Einführung in Cortea mit unserem Talent Partner Adriana. Zweiter Anruf – Technisches Interview mit Jendrik. Dritter Anruf – Vertiefung unserer Kultur mit unserem Mitbegründer Philipp. Vor-Ort-Halbtag (Berlin) – Treffen Sie das Team und arbeiten Sie gemeinsam an einem echten Problem.

Wir sind ein Team, das Chancengleichheit fördert, und ermutigen Frauen und unterrepräsentierte Gruppen zur Bewerbung.