Applied AI Engineer – Systems & Reliability (remote/Berlin-based)

HiPeople ist die KI-Einstellungsplattform, die sich um Screening, Interviews, Bewertungen und Referenzen kümmert, damit sich Rekrutierungsteams auf das Wesentliche konzentrieren können: Menschen. Wir arbeiten mit einigen der weltweit führenden Marken zusammen, darunter die NFL, Zapier, Celonis und DAZN. Wir suchen einen Applied AI Engineer, um das Rückgrat zu bauen, wie wir Qualität, Zuverlässigkeit und Vertrauen in unsere KI-Systeme sicherstellen, während wir auf 10 Millionen USD ARR und darüber hinaus skalieren. Sie werden direkt mit den Gründern zusammenarbeiten und eine zentrale Rolle dabei spielen, sicherzustellen, dass unsere KI-Produkte robust, messbar und bereit für den Unternehmenseinsatz sind. Diese Rolle ist für Menschen, die sich leidenschaftlich für Qualität einsetzen, gerne an schwierigen Systemproblemen arbeiten und KI entwickeln möchten, die tatsächlich in der realen Welt funktioniert.

Was Sie tun werden:

• Eigentum an Evaluierungssystemen und Qualitätsstandards
• Aufbau und Pflege von Evaluierungspipelines für zentrale KI-Workflows über Screening, Interviews, Bewertungen und Referenzen
• Definition von Metriken, Benchmarks und Akzeptanzkriterien für KI-Ausgaben
• Verfolgung der Leistung im Laufe der Zeit (Qualitätstrends, Drift, Regressionen) und Sichtbarmachung der Ergebnisse im Team
• Förderung der kontinuierlichen Verbesserung der KI-Leistung
• Identifizierung von Problemen in Prompts, Workflows und Datenpipelines durch quantitative Analysen und tiefgehende Analysen realer Fälle
• Entwurf und Implementierung von Verbesserungen in den Bereichen: Prompting-Strategien, Modellauswahl, Konfiguration und Feinabstimmung, Eingabedatenqualität und -vorverarbeitung, Orchestrierung und Workflow-Design
• Überführung neuer Systeme von „funktionierend“ (80%) zu zuverlässig und von hoher Qualität (95%+)
• Sicherstellung von Zuverlässigkeit, Überwachung und Stabilität
• Aufbau und Verbesserung der Überwachung für KI-Systeme (z.B. Dashboards, Warnungen, Nachverfolgung)
• Erkennung und Verhinderung von Ausfallmodi, Risikobereichen und Leistungsverschlechterungen
• Überwachung der Nutzung, Ratenlimits und Kapazität, um einen stabilen Betrieb im großen Maßstab sicherzustellen
• Förderung von Tests, CI und sicheren Versandpraktiken
• Integration von KI- und Prompt-Tests in CI (z.B. Regressionstests, goldene Datensätze, Staging-Umgebungen)
• Definition von Standards und Werkzeugen, damit Produkt- und Engineering-Teams sicher versenden können, ohne Regressionen einzuführen
• Handeln als Qualitätsschranke für KI-bezogene Änderungen
• Eigenverantwortung für KI-Systemaudits und Compliance-Unterstützung
• Vorbereitung und Unterstützung interner und externer Audits (z.B. SOC 2 und darüber hinaus)
• Bereitstellung von Beweisen, Dokumentationen und Artefakten für das Verhalten und die Kontrollen des KI-Systems
• Übersetzung von Audit-Ergebnissen in konkrete Verbesserungen in Systemen und Prozessen
• Produktion von KI-Workflows (nicht nur Prototypen)
• Aufbau und Produktion von KI-Workflows, die definierte Qualitäts- und Zuverlässigkeitsstandards erfüllen
• Unterstützung von Produkt- und Engineering-Teams bei der sauberen Integration von KI in die Produktlogik und Benutzererfahrung
• Sicherstellung, dass neue KI-Funktionen robust, messbar und wartbar sind, bevor sie veröffentlicht werden

Was wir suchen:

• 100% Übereinstimmung mit unseren Betriebsprinzipien (wenn Sie das Gefühl haben, dass dies nicht auf Sie zutrifft, bewerben Sie sich bitte nicht)
• Begeisterung für den Aufbau in Go
• Erfahrung mit KI/ML-Systemen, LLMs oder dateninintensiven Anwendungen
• Hohe Eigenverantwortung und Aufmerksamkeit für Details
• Starkes Interesse an Qualität, Zuverlässigkeit und Systemleistung, nicht nur am Aufbau von Funktionen
• Fähigkeit, komplexe Systeme über Prompts, Modelle und Datenpipelines zu debuggen
• Klare Kommunikations- und Dokumentationsfähigkeiten
• Komfort bei der Verbesserung von Systemen und Prozessen, nicht nur bei deren Nutzung
• Erfahrung mit Evaluierungsmethoden, Metriken oder Experimenten ist ein großer Vorteil
• Vertrautheit mit Überwachung, CI/CD und Produktionssystemen ist ein Plus

Hintergrund:

Starke Kandidaten kommen oft aus:

• AI/ML-Engineering oder angewandten KI-Rollen
• Backend- oder Systemengineering-Rollen mit Erfahrung in AI/ML
• Datenwissenschaftsrollen mit starker Ingenieur- und Produktionserfahrung
• Anderen Wegen, die den Aufbau und die Verbesserung realer Systeme mit Sorgfalt demonstrieren

Logistik:

Diese Rolle ist remote oder vor Ort in unserem Büro in Berlin. Wir bieten derzeit keine Visa-Unterstützung für Deutschland an.

Vorteile:

• Direktes Eigentum an einem der kritischsten Teile des Unternehmens: KI-Qualität und -Zuverlässigkeit
• Enger Kontakt mit den Gründern bei zentralen Produkt- und technischen Entscheidungen
• Wettbewerbsfähiges Gehalt und bedeutende Aktienoptionen
• Bildungsstipendium zur Unterstützung des fortlaufenden Lernens und der Entwicklung
• Das beste Team, mit dem man arbeiten kann (wahrhaftig!)

Wir glauben stolz an die Kraft von Vielfalt und Inklusion. Vielfalt des Denkens fördert unseren Erfolg, der nur mit einem vielfältigen Team erreicht werden kann. Wir heißen Menschen jeder Rasse, Orientierung, Geschlecht, Religion, Alter, Ethnie, Behinderung, Neurodiversität oder Identität willkommen und schätzen jede Einzigartigkeit.