Senior ML Engineer (Evaluation)

Kaiko entwickelt einen nächsten Generation agentischen klinischen KI-Assistenten, der Klinikern hilft, über Patientendaten, Richtlinien und Diagnosen hinweg zu argumentieren. Entscheidungen im Gesundheitswesen werden selten von einer einzelnen Person oder aus einer einzigen Datenquelle getroffen. Der Assistent von Kaiko erhält den longitudinalen Patienten-Kontext über Begegnungen, Kliniker und Institutionen hinweg, was Zusammenarbeit, Zweitmeinungen und komplexe diagnostische Arbeitsabläufe ermöglicht. Das System ist so konzipiert, dass es sicher in realen klinischen Umgebungen arbeitet, mit menschlicher Aufsicht, Nachvollziehbarkeit und regulatorischer Übereinstimmung im Kern.

Unsere Assistentenkern unterstützt allgemein anwendbare klinische Aufgaben wie die Navigation durch Patientendaten, Interaktion mit Richtlinien, multimodale Interaktion (Chat und Sprache) und Koordination der Versorgung. Darüber hinaus entwickeln wir spezialisierte diagnostische Agenten in Bereichen wie Onkologie, Radiologie und Pathologie. Wir arbeiten eng mit führenden Krankenhäusern und Forschungszentren zusammen, einschließlich des Netherlands Cancer Institute (NKI).

Über die Rolle: Das Multimodal Large Language Model (MLLM) von Kaiko wird auf domänenspezifischen, hochkomplexen medizinischen Daten trainiert. Um klinische Leistungsfähigkeit zu erreichen, ist ein umfassender Evaluierungsstapel erforderlich, der schnell, zuverlässig und tief in unseren Modellentwicklungsprozess integriert ist. Als Senior Evaluation ML Engineer sind Sie verantwortlich für den Engineering-Stapel zur Durchführung von Bewertungen in großem Maßstab, von effizienter Inferenz über eine wachsende Anzahl von Grenzmodellen bis hin zu asynchronen Bewertungen gegen eine Vielzahl klinischer Benchmarks, die eine automatisierte Orchestrierung unserer Pipelines mit einem starken Fokus auf Beobachtbarkeit und Organisation von produktionsreifen Systemen ermöglichen.

Sie arbeiten eng mit anderen ML-Forschern und dem Produktteam zusammen, um Forschungs- und klinische Anforderungen in zuverlässige und gut konstruierte Evaluierungssignale zu übersetzen. Zu Ihren Aufgaben gehören:

• Orchestrierung der KI-Fabrik für Evaluierungsarbeitslasten mit Dagster als primäre Orchestrierungsschicht: Entwurf, Betrieb und Weiterentwicklung der Pipelines und Arbeitsabläufe, die großangelegte Evaluierungsjobs ausführen, sowie die Erweiterung der Automatisierung über den gesamten Stapel, wo immer möglich.
• Wartung und Weiterentwicklung der Inferenzdienste, die Evaluierungsdurchläufe unterstützen, einschließlich Cluster- und Aktorebene Ressourcenmanagement, Gewährleistung von Korrektheit, Reproduzierbarkeit und Durchsatz, während der Modell- und Benchmark-Zoo wächst.
• Sicherstellung der funktionalen Integrität des Evaluierungsstapels durch rigoroses Testen und Validierung: Überprüfung der Modellintegrationen, Bestätigung des erwarteten Verhaltens über Konfigurationen hinweg und Unterstützung von ML-Forschern beim Verständnis der Modellausgaben.
• End-to-End-Verantwortung für Eval/MLOps: Servicebereitstellungen, Modellregistrierung und Artefaktversionierung, Organisation der Evaluierungsdatenbank, Rollout- und Rollback-Verfahren sowie Nachverfolgbarkeit nach der Bereitstellung.
• Entwicklung in Richtung technischer Leitung: Festlegung der Ingenieurrichtung, Treffen architektonischer Entscheidungen und Unterstützung anderer Ingenieure bei der Umsetzung.

Sie sollten über ausgezeichnete Python-Kenntnisse und starke Grundlagen in der Softwaretechnik verfügen: Testing, modulare Gestaltung, CI/CD, Code-Review und Monorepo-Tools. Nachgewiesene Erfahrung im Aufbau und Betrieb von ML-Inferenzdiensten oder MLOps-Infrastruktur in großem Maßstab, idealerweise für große Sprach- oder multimodale Modelle. Praktische Erfahrung mit verteiltem Rechnen und GPU-Workloads: Vertrautheit mit Frameworks wie Ray, CUDA-Toolchains und Container-Laufzeiten (Docker/Kubernetes oder gleichwertig). Erfahrung mit Modellserving-Frameworks wie vLLM, TensorRT-LLM, Triton Inference Server oder ähnlichem. Erfahrung mit Workflow-Orchestrierungstools, vorzugsweise Dagster; Fähigkeit, zuverlässige, wartbare Pipeline-DAGs zu entwerfen. Vertrautheit mit dem gesamten Bereitstellungslebenszyklus, von Containerisierung und Konfigurationsmanagement bis hin zu Beobachtbarkeit, Alarmierung und Incident Response. Die Fähigkeit, über die internen Abläufe von Modellen auf niedriger Ebene zu lesen und nachzudenken: Tokenisierung, numerische Präzision, Tensorformen und Verhalten zur Inferenzzeit. Vorherige Erfahrung im medizinischen Bereich ist nicht erforderlich, aber eine starke Motivation, die Grenzen der klinischen KI durch hervorragende Ingenieurskunst voranzutreiben, ist erforderlich.

Wünschenswert sind Erfahrungen als technische Leitung: Festlegung der Richtung für ein Ingenieursubsystem, Treffen architektonischer Abwägungen und Anleitung anderer Ingenieure. Vertrautheit mit Evaluierungsframeworks (lm-eval-harvest, OpenAI Evals, HF Evaluate) und Benchmark-Integrationspipelines. Hintergrund in softwaredefinierter Infrastruktur, IaC-Tools (Terraform, Pulumi) oder cloud-nativen Bereitstellungen auf AWS/GCP/Azure. Sicherheits- und Zuverlässigkeitsingenieurmentalität: Erfahrung mit Red-Teaming, Lasttests oder Qualitätspraktiken für Produktions-KI-Systeme.

Wir freuen uns darauf, eine breite Palette von Perspektiven in unserem Team zu sammeln, da wir glauben, dass dies uns helfen wird, bessere Produkte zu entwickeln, um eine breitere Gruppe von Menschen zu unterstützen. Wenn Sie sich für uns begeistern, aber nicht jede einzelne Qualifikation erfüllen, ermutigen wir Sie dennoch, sich zu bewerben: Wir hatten unglaubliche Teammitglieder, die nicht jede Anforderung erfüllt haben. Bei Kaiko glauben wir, dass die besten Ideen aus Zusammenarbeit, Eigenverantwortung und Ambition entstehen. Wir haben ein Team internationaler Experten aufgebaut, in dem Ihre Arbeit direkte Auswirkungen hat.

Hier ist, was wir schätzen:

• Eigenverantwortung: Sie haben die Autonomie, Ihre eigenen Ziele festzulegen, kritische Entscheidungen zu treffen und die direkten Auswirkungen Ihrer Arbeit zu sehen.
• Zusammenarbeit: Sie müssen Meinungsverschiedenheiten mit Neugier angehen, auf gemeinsamen Grundlagen aufbauen und gemeinsam Lösungen schaffen.
• Ambition: Sie sind von Menschen umgeben, die hohe Standards für sich selbst und andere setzen, die Hindernisse als Chancen sehen und die unermüdlich daran arbeiten, bessere Ergebnisse für Patienten zu erzielen.

Zusätzlich bieten wir:

• Ein attraktives und wettbewerbsfähiges Gehalt, einen guten Rentenplan und 25 Urlaubstage pro Jahr.
• Tolle Offsites und Teamevents zur Stärkung des Teams und zum Feiern von Erfolgen.
• Ein Budget von 1.000 EUR für Lernen und Entwicklung, um Ihnen beim Wachsen zu helfen.
• Autonomie, um Ihre Arbeit auf die Weise zu erledigen, die für Sie am besten funktioniert, egal ob Sie ein Kind haben oder frühe Morgenstunden bevorzugen.
• Ein jährliches Pendelzuschuss.

Unser Einstellungsprozess ist darauf ausgelegt, die gegenseitige Passung in Bezug auf Fähigkeiten, Motivation und Werte zu bewerten. Er umfasst typischerweise die folgenden Schritte:

• Screening-Gespräch: Ein kurzes Gespräch, um sich über Ihre Motivation, Karriereziele und die erste Passung für die Rolle abzustimmen.
• Technisches Interview: Eine eingehende Untersuchung Ihres Problemlösungsansatzes durch eine technische Herausforderung, Fallstudie oder rollenspezifisches Szenario.
• Vor-Ort-Treffen (optional): Sie treffen Teammitglieder aus verschiedenen Funktionen, um die Dynamik der Zusammenarbeit, die Team-Passung und den täglichen Kontext zu erkunden.
• Abschließendes Gespräch mit der Geschäftsführung: Eine Diskussion mit einem Mitglied des Führungsteams, die sich auf langfristige Ausrichtung, kulturelle Passung und gemeinsame Erwartungen an den Einfluss konzentriert.