Senior ML Engineer (Evaluation)

kaiko baut einen nächsten Generation agentischen klinischen KI-Assistenten, der Klinikern hilft, über Patientendaten, Richtlinien und Diagnosen nachzudenken. Entscheidungen im Gesundheitswesen werden selten von einer einzelnen Person oder aus einer einzigen Datenquelle getroffen. Der Assistent von kaiko erhält den longitudinalen Patienten-Kontext über Begegnungen, Kliniker und Institutionen hinweg, was Zusammenarbeit, Zweitmeinungen und komplexe diagnostische Arbeitsabläufe ermöglicht. Das System ist so konzipiert, dass es sicher in realen klinischen Umgebungen funktioniert, mit menschlicher Aufsicht, Nachvollziehbarkeit und regulatorischer Übereinstimmung im Kern.

Unser Assistent unterstützt allgemein anwendbare klinische Aufgaben wie die Navigation von Patientendaten, Interaktion mit Richtlinien, multimodale Interaktion (Chat und Sprache) und Koordination der Versorgung. Darüber hinaus entwickeln wir spezialisierte diagnostische Agenten in Bereichen wie Onkologie, Radiologie und Pathologie. Wir arbeiten eng mit führenden Krankenhäusern und Forschungszentren zusammen, einschließlich des Netherlands Cancer Institute (NKI). kaiko ist ein gut finanziertes Unternehmen mit einem wachsenden internationalen Team, das von Zürich und Amsterdam aus operiert.

Über die Rolle: Kaikos Multimodal Large Language Model (MLLM) wird auf domänenspezifischen, hochkomplexen medizinischen Daten trainiert. Um klinisch relevante Leistung zu erreichen, ist ein umfassender Evaluierungsstapel erforderlich, der schnell, zuverlässig und tief in unseren Modellentwicklungsprozess integriert ist.

Als Senior Evaluation ML Engineer sind Sie verantwortlich für den Engineering-Stapel zur Durchführung von Bewertungen in großem Maßstab, von effizienter Inferenz über eine wachsende Anzahl von Grenzmodellen bis hin zu asynchronen Bewertungen gegen eine Vielzahl klinischer Benchmarks, die eine automatisierte Orchestrierung unserer Pipelines mit einem starken Fokus auf Beobachtbarkeit und Organisation von produktionsreifen Systemen ermöglichen. Sie arbeiten eng mit anderen ML-Forschern und dem Produktteam zusammen, um Forschungs- und klinische Anforderungen in zuverlässige und gut entwickelte Evaluierungssignale zu übersetzen.

Zu Ihren Aufgaben gehören:

• Orchestrierung der AI-Fabrik für Evaluierungsarbeitslasten mit Dagster als primäre Orchestrierungsschicht: Entwurf, Betrieb und Weiterentwicklung der Pipelines und Arbeitsabläufe, die großangelegte Evaluierungsjobs ausführen, sowie die Erweiterung der Automatisierung über den gesamten Stapel, wo immer möglich.
• Wartung und Weiterentwicklung der Inferenzdienste, die Evaluierungsdurchläufe unterstützen, einschließlich Cluster- und Aktor-Ressourcenmanagement, um Korrektheit, Reproduzierbarkeit und Durchsatz sicherzustellen, während der Modell- und Benchmark-Zoo wächst.
• Sicherstellung der funktionalen Integrität des Evaluierungsstapels durch rigoroses Testen und Validierung: Überprüfung der Modellintegrationen, Bestätigung des erwarteten Verhaltens über Konfigurationen hinweg und Unterstützung von ML-Forschern beim Verständnis der Modellausgaben.
• End-to-End-Management von Eval/MLOps: Bereitstellungen von Diensten, Modellregistrierung und Versionsverwaltung von Artefakten, Organisation der Evaluierungsdatenbank, Rollout- und Rollback-Verfahren sowie Nachverfolgbarkeit nach der Bereitstellung.
• Entwicklung in Richtung technischer Leitung: Festlegung der Ingenieurrichtung, Treffen architektonischer Entscheidungen und Unterstützung anderer Ingenieure bei der Umsetzung.

Sie werden in Zürich oder Amsterdam ansässig sein, mit der Erwartung, etwa 50% Ihrer Zeit im Büro zu verbringen.

Über Sie:

• Ausgezeichnete Python-Kenntnisse und starke Grundlagen in der Softwaretechnik: Testing, modulare Gestaltung, CI/CD, Code-Review und Monorepo-Tools.
• Nachgewiesene Erfahrung im Aufbau und Betrieb von ML-Inferenzdiensten oder MLOps-Infrastruktur in großem Maßstab, idealerweise für große Sprach- oder multimodale Modelle.
• Praktische Erfahrung mit verteiltem Rechnen und GPU-Workloads: Vertrautheit mit Frameworks wie Ray, CUDA-Toolchains und Container-Laufzeiten (Docker/Kubernetes oder vergleichbar).
• Erfahrung mit Modellbereitstellungs-Frameworks wie vLLM, TensorRT-LLM, Triton Inference Server oder ähnlichem.
• Erfahrung mit Workflow-Orchestrierungstools, vorzugsweise Dagster; Fähigkeit, zuverlässige, wartbare Pipeline-DAGs zu entwerfen.
• Vertrautheit mit dem gesamten Bereitstellungslebenszyklus, von der Containerisierung und Konfigurationsverwaltung bis hin zu Beobachtbarkeit, Alarmierung und Vorfallreaktion.
• Fähigkeit, über interne Modelle auf niedriger Ebene zu lesen und nachzudenken: Tokenisierung, numerische Präzision, Tensorformen und Verhalten zur Inferenzzeit.
• Vorherige Erfahrung im medizinischen Bereich ist nicht erforderlich, aber eine starke Motivation, die Grenzen der klinischen KI durch hervorragende Ingenieurarbeit voranzutreiben, ist erforderlich.

Schön zu haben:

• Erfahrung als technische Leitung: Festlegung der Richtung für ein Ingenieursubsystem, Treffen architektonischer Abwägungen und Anleitung anderer Ingenieure.
• Vertrautheit mit Evaluierungsframeworks (lm-eval-harness, OpenAI Evals, HF Evaluate) und Benchmark-Integrationspipelines.
• Hintergrund in softwaredefinierter Infrastruktur, IaC-Tools (Terraform, Pulumi) oder cloud-nativen Bereitstellungen auf AWS/GCP/Azure.
• Sicherheits- und Zuverlässigkeitsingenieurmentalität: Erfahrung mit Red-Teaming, Lasttests oder Qualitätspraktiken für Produktions-KI-Systeme.

Zusätzlich bieten wir:

• Ein attraktives und wettbewerbsfähiges Gehalt, einen guten Rentenplan und 25 Urlaubstage pro Jahr.
• Tolle Offsites und Teamevents zur Stärkung des Teams und zum Feiern von Erfolgen.
• Ein Lern- und Entwicklungsbudget von 1.000 EUR, um Ihnen beim Wachsen zu helfen.
• Autonomie, um Ihre Arbeit auf die Weise zu erledigen, die am besten für Sie funktioniert, egal ob Sie ein Kind haben oder frühe Morgenstunden bevorzugen.
• Ein jährliches Pendelzuschuss.