Tech Lead Data Scientist, AI Evaluation & Monitoring

Standort: Homeoffice (Pennsylvania)

Schicht: Tage (Vereinigte Staaten von Amerika)

Geplante wöchentliche Arbeitsstunden: 40

Arbeiterart: Regulär

Ausnahme Status: Ja

Stellenbeschreibung: Der Tech Lead Data Scientist, AI Evaluation & Monitoring ist der Haupttechnische Experte dafür, wie Geisinger KI-Systeme in der Produktion bewertet, überwacht und optimiert. Dies ist eine praktische technische Führungsrolle. Der Tech Lead legt die technische Richtung für die KI-Bewertung über ein großes und wachsendes Portfolio fest, bietet technische Führung für ein Team von Datenanalysten, die Bewertungsarbeiten durchführen, und arbeitet direkt mit KI-Programmenteams zusammen, um die Qualität der Validierung, Überwachung und Verbesserung von KI im Laufe der Zeit zu erhöhen.

Aufgaben:

• Die technische Bewertungsmethodik, die auf KI-Programme im gesamten Unternehmen angewendet wird, einschließlich der Validierung vor der Produktion, der Produktionsüberwachung und der laufenden Optimierung.
• Praktische Anleitung für Programmteams bei der Gestaltung von Validierungsstudien, Gleichheitsprüfungen, Überwachungsplänen und Eskalationshandbüchern für ihre KI-Systeme.
• Instrumentierung der Produktionsüberwachung: Übersetzung programmspezifischer Fehlermuster in konkrete, messbare Metriken.
• Das Bewertungstoolset: LLM-as-Judge-Frameworks, goldene Sätze, Simulationswerkzeuge, experimentelle Studiendesigns, Drift-Erkennung, Analyse der Untergruppenfairness.
• Wiederverwendbare Bewertungsleitfäden und Vorlagen, die es jedem neuen Programm ermöglichen, schneller als das letzte voranzukommen.
• Technische Richtung, Designüberprüfung und Mentoring für ein Team von Datenanalysten, die die Bewertungsfunktion unterstützen.

Was Sie nicht besitzen werden:

• Personalmanagement, HR-Administration oder formale Leistungsbewertungen für das Analystenteam.
• Produktstrategie auf Programmebene oder Entscheidungen über Go/No-Go.
• Endgültige klinische Validierungsurteile darüber, ob eine bestimmte KI für einen bestimmten klinischen Einsatz sicher ist.
• Die Softwareinfrastruktur hinter den Bewertungs- und Überwachungstools.

Arbeitsform: Diese Rolle lebt auf drei Ebenen gleichzeitig:

• Mit Programmteams (praktische Beratung).
• Mit dem Bewertungstoolset (praktischer Aufbau).
• Mit dem Analystenteam (technische Führung).

Methoden:

• Experimentelles und quasi-experimentelles Design für Produktions-KI-Systeme.
• LLM- und generative KI-Bewertung.
• Überwachungsdesign für die Produktion.
• Kausale Inferenzmethoden, die für Gesundheitsumgebungen geeignet sind.
• Simulation und adversarielle Tests für Pre-Production-Stresstests.
• Python, SQL, moderne ML- und Bewertungstools, cloud-native Datenplattformen.

Erforderliche Fähigkeiten und Qualifikationen:

• 6+ Jahre Erfahrung in Datenwissenschaft, Statistik, ML-Engineering oder angewandter quantitativer Forschung.
• Starke Grundlage in experimentellem Design und kausaler Inferenz.
• Praktische Erfahrung in der Gestaltung und Durchführung von Modellauswertungsstudien in realen Produktionsumgebungen.
• Erfahrung in der Bewertung von LLM oder generativen KI-Systemen.
• Nachgewiesene Fähigkeit, mehrdeutige Fehlermuster in konkrete, verteidigbare Bewertungsdesigns und Überwachungsmetriken zu übersetzen.
• Starke Kenntnisse in Python und SQL.
• Erfahrung mit Fairness- und Gleichheitsbewertungen für ML-Systeme.
• Nachweisliche technische Führung und Mentoring ohne formale Personalverantwortung.
• Klare schriftliche Kommunikation.

Bildung: Bachelor-Abschluss in einem verwandten Studienbereich (erforderlich).

Erfahrung: Mindestens 6 Jahre relevante Erfahrung (erforderlich).

Vorteile: Wir bieten Gesundheitsleistungen für Vollzeit- und Teilzeitstellen ab dem ersten Tag an, einschließlich Vision, Zahnmedizin und Partnerleistungen.

EEO-Erklärung: Wir wissen, dass eine vielfältige Belegschaft mit einzigartigen Erfahrungen und Hintergründen unser Team stärker macht.