Tech Lead Data Scientist, AI Evaluation & Monitoring

Standort: Homeoffice (Pennsylvania)

Schicht: Tage (Vereinigte Staaten von Amerika)

Geplante wöchentliche Arbeitsstunden: 40

Arbeiterart: Regulär

Befreiungsstatus: Ja

Stellenbeschreibung: Der Tech Lead Data Scientist, AI Evaluation & Monitoring ist der Haupttechnische Experte dafür, wie Geisinger KI-Systeme in der Produktion bewertet, überwacht und optimiert. Dies ist eine praktische technische Führungsrolle. Der Tech Lead legt die technische Richtung für die KI-Bewertung über ein großes und wachsendes Portfolio fest, bietet technische Führung für ein Team von Datenanalysten, die Bewertungsarbeiten durchführen, und arbeitet direkt mit KI-Programmenteams zusammen, um die Qualität der Validierung, Überwachung und Verbesserung von KI im Laufe der Zeit zu erhöhen.

Aufgaben:

• Die technische Evaluierungsmethodik, die auf KI-Programme im gesamten Unternehmen angewendet wird, einschließlich Validierung vor der Produktion, Produktionsüberwachung und kontinuierlicher Optimierung.
• Praktische Anleitung für Programmteams bei der Gestaltung von Validierungsstudien, Gleichheitsprüfungen, Überwachungsplänen und Eskalationshandbüchern für ihre KI-Systeme.
• Instrumentierung der Produktionsüberwachung: Übersetzung programmspezifischer Fehlermuster in konkrete, messbare Metriken.
• Das Evaluierungstoolset: LLM-as-Judge-Rahmen, goldene Sätze, Simulationswerkzeuge, experimentelle Studiendesigns, Driftüberwachung, Analyse der Untergruppengerechtigkeit.
• Wiederverwendbare Evaluierungsleitfäden und Vorlagen, die es jedem neuen Programm ermöglichen, schneller als das letzte voranzukommen.
• Technische Richtung, Designüberprüfung und Mentoring für ein Team von Datenanalysten, die die Evaluierungsfunktion unterstützen.

Was Sie nicht besitzen werden:

• Personalmanagement, HR-Administration oder formale Leistungsbewertungen für das Analystenteam.
• Programmbezogene Produktstrategie oder Entscheidungen über Fortführung oder Abbruch.
• Letzte klinische Validierungsurteile darüber, ob eine bestimmte KI für einen bestimmten klinischen Einsatz sicher ist.
• Die Softwareinfrastruktur hinter den Evaluierungs- und Überwachungstools.

Arbeitsform: Diese Rolle lebt auf drei Ebenen gleichzeitig:

• Mit Programmteams (praktische Beratung).
• Mit dem Evaluierungstoolset (praktischer Aufbau).
• Mit dem Analystenteam (technische Führung).

Methoden, die Sie verwenden werden:

• Experimentelles und quasi-experimentelles Design für Produktions-KI-Systeme.
• LLM- und generative KI-Bewertung.
• Überwachungsdesign für die Produktion.
• Kausale Inferenzmethoden, die für Gesundheitsumgebungen geeignet sind.
• Simulation und adversarielle Tests für Pre-Production-Stresstests.
• Python, SQL, moderne ML- und Evaluierungstools, cloud-native Datenplattformen.

Erforderliche Fähigkeiten und Qualifikationen:

• 6+ Jahre Erfahrung in Datenwissenschaft, Statistik, ML-Engineering oder angewandter quantitativer Forschung.
• Starke Grundlagen in experimentellem Design und kausaler Inferenz.
• Praktische Erfahrung in der Gestaltung und Durchführung von Modellevaluierungsstudien in realen Produktionsumgebungen.
• Erfahrung in der Bewertung von LLM oder generativen KI-Systemen.
• Nachgewiesene Fähigkeit, mehrdeutige Fehlermuster in konkrete, verteidigbare Evaluierungsdesigns und Überwachungsmetriken zu übersetzen.
• Starke Kenntnisse in Python und SQL.
• Erfahrung mit Fairness- und Gerechtigkeitsbewertung für ML-Systeme.
• Klare schriftliche Kommunikation.

Bildung: Bachelor-Abschluss in einem verwandten Studienbereich (erforderlich).

Erfahrung: Mindestens 6 Jahre relevante Erfahrung (erforderlich).

Vorteile: Wir bieten Gesundheitsleistungen für Vollzeit- und Teilzeitstellen ab dem ersten Tag an, einschließlich Vision, Zahnmedizin und Partnerleistungen.

EEO-Erklärung: Wir wissen, dass eine vielfältige Belegschaft mit einzigartigen Erfahrungen und Hintergründen unser Team stärker macht. Wir sind stolz darauf, ein Arbeitgeber für Chancengleichheit zu sein.