Senior Machine Learning Engineer, Agent Oversight

Über Scale

Die Mission von Scale ist es, zuverlässige KI-Systeme für die wichtigsten Entscheidungen der Welt zu entwickeln. Als führende KI-Datenfabrik bieten wir die hochwertigen Daten und Full-Stack-Technologien, die die fortschrittlichsten Modelle der Welt antreiben — und damit Durchbrüche in generativer KI, Verteidigung und autonomen Fahrzeugen ermöglichen. Wir arbeiten mit führenden Unternehmen und Regierungen zusammen, um KI in die Produktion zu bringen, die funktioniert, wenn es darauf ankommt, und kombinieren strenge Bewertungen mit Full-Stack-Bereitstellungen, damit unsere Kunden KI aufbauen können, der sie vertrauen können.

Über das Team

Das Applied Intelligence Systems-Team ist Teil der Scale Generative AI Platform (SGP) und konzentriert sich darauf, die Grenzen dessen, was agentische Anwendungen in verschiedenen Unternehmens- und Regierungsanwendungen leisten können, zu erweitern. Wir bauen die Infrastruktur und Werkzeuge, die agentische KI in der Produktion antreiben, kombiniert mit angewandter ML-Forschung, Design und Bewertung, um sicherzustellen, dass diese Systeme zuverlässig in dem Maßstab funktionieren, den unsere Kunden verlangen. Wir wachsen schnell, mit zunehmendem Interesse sowohl bei kommerziellen als auch bei öffentlichen Sektor-Kunden, und wir fangen gerade erst an — dieses Team wird definieren, wie zuverlässige, produktionsfähige agentische KI aussieht.

Über die Rolle

Als Machine Learning Engineer im Bereich Agent Oversight werden Sie den End-to-End-Lebenszyklus steuern, der sicherstellt, dass unsere Produktionsagenten zuverlässig arbeiten und sich im Laufe der Zeit verbessern. Dazu gehört der Aufbau von Beobachtungswerkzeugen, das Entwerfen robuster Bewertungsrahmen und die Entwicklung von Verbesserungszyklen. Egal, ob Sie die Infrastruktur skalieren oder neue Verbesserungsmethoden erforschen, Sie werden den gesamten ML-Zyklus navigieren und dabei strenge technische Standards einhalten.

Sie werden:

• Beobachtungsfunktionen für das Verhalten von Agenten in der Produktion aufbauen oder dazu beitragen — die Signale und Instrumente, die benötigt werden, um tatsächlich zu sehen, was ein Agent tut, nicht nur, ob er erfolgreich war oder nicht.
• Bewertungsmethodologien und -metriken für agentische Anwendungen entwerfen und mit der Plattform zusammenarbeiten, um sie automatisch und in großem Maßstab über verschiedene Kundenanwendungen hinweg auszuführen, nicht nur als einmalige Analysen.
• ML-Systeme entwickeln, bereitstellen und besitzen, die Drift, Anomalien oder Fehlanpassungen im Verhalten von Produktionsagenten erkennen — vom ersten Prototyp bis hin zu einem zuverlässigen Betrieb im großen Maßstab.
• Strenge Experimente durchführen, um Verbesserungen der Modell- und Agentenleistung zu validieren, bevor sie bereitgestellt werden.
• Eng mit Software-Ingenieuren auf der Plattform zusammenarbeiten, wo Ihre Arbeit mit der breiteren Infrastruktur zusammentrifft — aber Sie sind dafür verantwortlich, Ihre eigene Arbeit von der Idee bis zur Produktion zu bringen, nicht nur abzugeben.
• Eng mit Produktmanagern, Kunden, Datenannotatoren, Forward Deployed Engineers und anderen Ingenieurteams zusammenarbeiten, um Unternehmens- und Regierungsanforderungen in robuste Plattformfähigkeiten zu übersetzen.
• Je nach Schwerpunkt zu neuartigen Methoden und Ansätzen beitragen, die den Stand der Technik für die Bewertung und Verbesserung von Agenten vorantreiben, oder sich auf den Aufbau von ML-Systemen konzentrieren, die im großen Maßstab in der Produktion zuverlässig funktionieren.

Voraussetzungen:

• 5+ Jahre Erfahrung als ML-Ingenieur oder angewandter Wissenschaftler, idealerweise in einem produktiven ML- oder LLM-gestützten System — nicht nur die Nutzung einer Drittanbieter-ML-API innerhalb eines Features.
• Starke Grundlagen in mindestens zwei der folgenden Bereiche:
• Aufbau oder Skalierung von Evaluierungs-, Überwachungs- oder kontinuierlichen Lerninfrastrukturen für ML/agentische Systeme.
• Design-Erfahrung für Agentensysteme (Architektur, Orchestrierung, Werkzeugnutzung).
• Entwicklung neuer Methoden, Belohnungsmodelle oder Ansätze zum Training/Fine-Tuning von Modellen.
• Praktische Erfahrung mit LLMs und Agentenarchitekturen — Werkzeugnutzung, Planung, Multi-Agenten-Orchestrierung.
• Komfortable Zusammenarbeit mit Software-Ingenieuren, um Forschung und experimentelle Arbeiten in die Produktion zu bringen, nicht nur eine einmalige Analyse zu liefern.
• Strenger Ansatz für Experimente: klare Hypothesen, echte statistische Grundlagen und Ergebnisse, die unter Prüfung standhalten.
• Erfolgreiche Zusammenarbeit über Funktionen hinweg (Produkt, Forward Deployed Engineering usw.), um unklare Anforderungen zu navigieren und in die Produktion zu bringen.
• Gibt direktes, substanzielles Feedback zu Designs und Code und nimmt es ebenso — und betreut andere, während sie wachsen.

Wünschenswert:

• Erfahrung im Aufbau oder in der Mitwirkung an RLHF, SFT oder anderen Fine-Tuning/RL-Workflows, Belohnungsmodellierung oder verifizierbaren Belohnungssystemen.
• Erfahrung mit der Optimierung von Modellen oder Systemen (z.B. Latenz, Kosten oder Effizienz der Inferenz).
• Veröffentlichte Forschung, Open-Source-Beiträge oder Patente in agentischen Systemen, LLMs oder angewandtem ML.
• Erfahrung in regulierten oder Unternehmenskontexten.
• Erfolgreiche Umsetzung einer neuartigen Methode vom Prototypen zu etwas, das zuverlässig in der Produktion läuft, während man Unklarheiten navigiert.
• Erfahrung in der Überprüfung technischer Designs anderer oder in der Betreuung von Ingenieuren auf Senior-/Staff-Ebene.

Vergütungspakete bei Scale für berechtigte Rollen umfassen Grundgehalt, Eigenkapital und Leistungen. Die angezeigte Spanne in jeder Stellenanzeige spiegelt das Mindest- und Höchstziel für die Gehälter neuer Mitarbeiter für die Position wider und kann mehrere Karrierestufen bei Scale umfassen; sie wird während des Interviewprozesses basierend auf Arbeitsort und weiteren Faktoren, einschließlich berufsbezogener Fähigkeiten, Erfahrungen, Qualifikationen, Interviewleistungen und relevanter Ausbildung oder Schulung, festgelegt. Scale-Mitarbeiter in berechtigten Rollen erhalten ebenfalls eine eigenkapitalbasierte Vergütung, vorbehaltlich der Genehmigung durch den Vorstand. Ihr Recruiter kann Ihnen während des Einstellungsprozesses mehr über die spezifische Gehaltsspanne für Ihren bevorzugten Standort mitteilen und bestätigen, ob die eingestellte Rolle für eine Eigenkapitalgewährung berechtigt ist. Sie erhalten auch Leistungen, einschließlich, aber nicht beschränkt auf: umfassende Gesundheits-, Zahn- und Augenversicherung, Altersvorsorge, ein Lern- und Entwicklungsgeld sowie großzügigen PTO. Darüber hinaus kann diese Rolle für zusätzliche Leistungen wie ein Pendlerstipendium berechtigt sein.

Wir glauben, dass jeder in der Lage sein sollte, sein ganzes Ich zur Arbeit zu bringen, weshalb wir stolz darauf sind, ein integrativer und gleichberechtigter Arbeitsplatz zu sein. Wir setzen uns für Chancengleichheit ein, unabhängig von Rasse, Hautfarbe, Abstammung, Religion, Geschlecht, nationaler Herkunft, sexueller Orientierung, Alter, Staatsbürgerschaft, Familienstand, Behinderungsstatus, Geschlechtsidentität oder Veteranenstatus. Wir sind bestrebt, mit Bewerbern mit körperlichen und geistigen Behinderungen zusammenzuarbeiten und angemessene Vorkehrungen zu treffen. Wenn Sie Unterstützung und/oder eine angemessene Vorkehrung im Bewerbungs- oder Rekrutierungsprozess aufgrund einer Behinderung benötigen, kontaktieren Sie uns bitte unter accommodations@scale.com.