Senior AI Reliability Engineer (Platform)

Wir suchen einen Senior AI Reliability Engineer (Platform), um unsere Mission zu erfüllen, Leben zu verbessern und zu verlängern, indem wir aus den Erfahrungen jeder Person mit Krebs lernen. Flatiron Health ist ein Healthtech-Unternehmen, das Daten für gute Zwecke nutzt, um eine intelligentere Versorgung für jede Person mit Krebs weltweit zu ermöglichen. Flatiron arbeitet mit Krebszentren in den USA, Europa und Asien zusammen, um die realen Erfahrungen von Patienten in reale Beweise umzuwandeln und ein modernes, vernetztes Onkologie-Ökosystem zu schaffen.

Was Sie tun werden: Wir suchen einen Senior AI Reliability Engineer (Platform), um Flatiron dabei zu helfen, KI-gestützte Arbeitsabläufe sicher und effektiv über unsere Ingenieur-, Produkt- und Geschäftsteams hinweg zu skalieren. Diese Rolle befindet sich an der Schnittstelle von Datenwissenschaft, Plattformengineering, KI-Bewertung und Produktionszuverlässigkeit. Während der Einsatz von KI bei Flatiron wächst, müssen wir über Experimente hinausgehen und die Systeme, Standards und Feedbackschleifen aufbauen, die es ermöglichen, KI-Arbeitsabläufe zu bewerten, zu überwachen, zu vertrauen und im Laufe der Zeit zu verbessern.

Als Senior AI Reliability Engineer (Platform) werden Sie:

• Bewertungsrahmen, Benchmarks und automatisierte Testpipelines für KI, LLM-gestützte und agentische Arbeitsabläufe entwerfen, erstellen und kontinuierlich verbessern.
• Qualitäts-, Zuverlässigkeits-, Sicherheits-, Leistungs- und Kostenmetriken für KI-Systeme definieren und überwachen, einschließlich Beobachtbarkeit, Drift-Erkennung, Halluzinationsrisiko, Abrufqualität und End-to-End-Workflow-Verhalten.
• Zuverlässigkeitspraktiken für KI-gestützte Systeme entwickeln, einschließlich SLOs, SLIs, Überwachung, Alarmierung, Vorfallreaktion, Handbücher und Ursachenanalyse von KI-Fehlermodi.
• Orchestrierung, Governance und Leitplanken für multi-agentische KI-Systeme entwerfen, einschließlich Agentenkoordination, Berechtigungen, Prüfbarkeit, menschliche Aufsicht und sichere Bereitstellungsmuster.
• Mit Plattform-, Produkt-, Sicherheits-, Ingenieur- und Datenwissenschaftsteams zusammenarbeiten, um KI-Lösungen zu bewerten, wiederverwendbare Standards festzulegen und Entscheidungen zu Build-vs-Buy, Modellauswahl und KI-Adoptionsentscheidungen zu leiten.
• Experimente mit aufkommenden KI-Technologien unterstützen und der Organisation helfen, pragmatische, skalierbare Entscheidungen in einer sich schnell entwickelnden Landschaft zu treffen, indem sie mit globalen Teams zusammenarbeiten und an Bereitschaftsdiensten teilnehmen.

Wer Sie sind: Sie sind ein erfahrener technischer Praktiker mit Erfahrung in den Bereichen Datenwissenschaft, maschinelles Lernen, Softwareengineering, Plattformengineering oder Zuverlässigkeitsengineering. Sie fühlen sich wohl in unklaren Bereichen, in denen die richtige Antwort nicht immer offensichtlich ist, und sind motiviert, aufkommende KI-Fähigkeiten in produktionsbereite Systeme umzuwandeln, denen Teams tatsächlich vertrauen können. Sie verstehen, dass KI-Systeme anders ausfallen als traditionelle Software. Ein Modell kann nicht abstürzen, aber es kann stillschweigend abnehmen, weniger genau werden, inkonsistent reagieren, schlechte Ausgaben produzieren oder Geschäftsrisiken aufweisen, die schwer zu erkennen sind, ohne die richtigen Bewertungs- und Beobachtungsmuster.

Sie haben wahrscheinlich:

• Über 5 Jahre Erfahrung im Plattformengineering, SRE, maschinellen Lernen, MLOps oder einem verwandten technischen Bereich, mit starken Python-Kenntnissen und Erfahrung im Aufbau produktionsreifer Systeme.
• Erfahrung in der Gestaltung von Experimenten, Bewertungsrahmen, statistischen Analysen und Qualitätsmetriken für ML- oder KI-Systeme, mit Vertrautheit mit LLMs, RAG, KI-Agenten, Eingabebewertung und Modellverhalten.
• Starkes Verständnis von KI-Zuverlässigkeit und Beobachtbarkeit, einschließlich Protokollierung, Nachverfolgung, Überwachung, Drift-Erkennung, statistischer Analyse, Unsicherheit, Alarmierung und Gesundheit von Produktionssystemen.
• Erfahrung mit moderner Cloud- und ML-Infrastruktur, einschließlich AWS, Containern, Kubernetes, CI/CD, Datenpipelines, Workflow-Orchestrierung, Versionierung und verteilten Rechenplattformen.
• Kenntnisse über agentische und multi-agentische Systeme, einschließlich Orchestrierung, Zustandsmanagement, Toolausführung, Governance, Zuverlässigkeit, menschliche Kontrolle und Auswahl des geeigneten Niveaus an KI-Autonomie für ein bestimmtes Problem.
• Starke Kommunikations- und Kollaborationsfähigkeiten, mit der Fähigkeit, KI-Verhalten und -Abwägungen technischen und nicht-technischen Stakeholdern zu erklären und in einem sich schnell bewegenden, unklaren Umfeld mit einer pragmatischen, ermöglichungsorientierten Denkweise zu gedeihen.
• Fließend in Englisch.

Optional:

• Erfahrung mit LLM-Bewertung, Red-Teaming, adversarialem Testen, KI-Sicherheit, RAG-Bewertung, Abrufqualitätsmessung, Einbettungsdrift oder KI-Beobachtbarkeit und Modellüberwachung.
• Praktische Erfahrung mit Beobachtungs- und Daten-/ML-Plattformen wie Datadog, Splunk, OpenTelemetry, Databricks, Spark, Airflow, dbt, Ray, SageMaker, GitLab CI/CD oder ähnlichen Technologien.
• Erfahrung in der Gesundheitsversorgung, Lebenswissenschaften oder anderen regulierten, datenschutzsensiblen Umgebungen.

Wer wir sind: Unsere Mitarbeiter stehen im Mittelpunkt alles, was wir tun. Wir streben danach, eine Kultur zu fördern, in der unsere Teamkollegen sich ausgestattet und befähigt fühlen, bedeutende Beiträge mit Vertrauen, Mitgefühl und Klarheit zu leisten.