Senior Software Engineer, Agent Oversight

Über Scale

Die Mission von Scale ist es, zuverlässige KI-Systeme für die wichtigsten Entscheidungen der Welt zu entwickeln. Als führende KI-Datenfabrik bieten wir die hochwertigen Daten und Full-Stack-Technologien, die die fortschrittlichsten Modelle der Welt antreiben – und damit Durchbrüche in generativer KI, Verteidigung und autonomen Fahrzeugen ermöglichen. Wir arbeiten mit führenden Unternehmen und Regierungen zusammen, um KI in die Produktion zu bringen, die funktioniert, wenn es am wichtigsten ist, und kombinieren strenge Bewertungen mit Full-Stack-Bereitstellungen, damit unsere Kunden KI aufbauen können, der sie vertrauen.

Über das Team

Das Applied Intelligence Systems-Team ist Teil der Scale Generative AI Platform (SGP) und konzentriert sich darauf, die Grenzen dessen, was agentische Anwendungen in verschiedenen Unternehmens- und Regierungsanwendungen leisten können, zu erweitern. Wir bauen die Infrastruktur und Werkzeuge, die agentische KI in der Produktion antreiben, kombiniert mit angewandter ML-Forschung, Design und Bewertung, um sicherzustellen, dass diese Systeme zuverlässig in dem Maßstab funktionieren, den unsere Kunden verlangen. Wir wachsen schnell, mit zunehmendem Interesse sowohl bei kommerziellen als auch bei öffentlichen Sektor-Kunden, und wir fangen gerade erst an – dieses Team wird definieren, wie zuverlässige, produktionsfähige agentische KI aussieht.

Über die Rolle

Als Software Engineer im Bereich Agent Oversight werden Sie die Plattforminfrastruktur aufbauen, die es unseren Produktionsagenten ermöglicht, beobachtet, bewertet und in großem Maßstab verbessert zu werden. Dazu gehört der Aufbau von Beobachtungswerkzeugen, Bewertungsrahmen und den Pipelines, die diese mit Verbesserungszyklen verbinden. Egal, ob Sie grundlegende Infrastruktur aufbauen oder eng mit ML-Ingenieuren an Produktionsabläufen zusammenarbeiten, Sie werden Ihre Systeme von Anfang bis Ende verantworten und dabei strenge technische Standards einhalten.

Sie werden:

• Kernplattformfähigkeiten für die Bereitstellung, Überwachung und Bewertung agentischer Anwendungen in der Produktion entwerfen und aufbauen.
• Zuverlässige APIs und Datenpipelines erstellen, die Agententelemetrie, Bewertungsindikatoren und Leistungskennzahlen in großem Maßstab erfassen.
• Eng mit ML-Ingenieuren zusammenarbeiten, wo die Plattformarbeit mit Bewertungs- oder Verbesserungssystemen zusammentrifft.
• Die Zuverlässigkeit, Skalierbarkeit und Beobachtbarkeit von Plattformkomponenten, die mehreren gleichzeitigen Unternehmens- und Regierungs-Kunden dienen, verantworten.
• Bereichsübergreifend mit Produkt-, Engineering- und Kunden-Teams zusammenarbeiten, um reale Bereitstellungsanforderungen in Plattformfunktionen zu übersetzen.
• Funktionen von Anfang bis Ende entwickeln: Systemdesign, Implementierung, Debugging und Testen.
• An hochdynamischen Experimenten teilnehmen, um die Plattformfähigkeiten anhand der tatsächlichen Nutzung durch Kunden zu validieren.

Voraussetzungen

• 4+ Jahre Berufserfahrung in der Softwareentwicklung mit starken Grundlagen in Backend/verteilten Systemen, APIs und Datenpipeline-Design.
• Praktische Erfahrung in der Entwicklung von Produktionssoftware für ML/LLM-gesteuerte Produkte oder Plattformen.
• Kenntnisse darüber, wie LLM- oder ML-Systeme in der Produktion funktionieren.
• Erfahrung in der engen Zusammenarbeit mit ML-Ingenieuren oder angewandten Forschern.
• Erfahrung im Aufbau von Infrastruktur oder Plattformen, auf denen andere Ingenieurteams aufbauen.
• Nachweisliche Fähigkeit, Verantwortung für Funktionen oder Komponenten von Anfang bis Ende zu übernehmen.
• Starke Problemlösungsfähigkeiten und die Fähigkeit, unabhängig oder als Teil eines eng verbundenen, bereichsübergreifenden Teams zu arbeiten.
• Bereitschaft, direkt mit ML-Ingenieuren und kundenorientierten Teams zu arbeiten.
• Direktes, substanzielles Feedback zu Designs und Code geben und dies auch selbst annehmen.

Wünschenswert

• Tiefgehende Erfahrung im Aufbau oder in der Wartung von Beobachtungs-, Überwachungs- oder Bewertungssystemen für ML/LLM-gesteuerte Produkte in der Produktion.
• Vertrautheit mit Agentenarchitekturen.
• Erfahrung in regulierten oder Unternehmenskontexten.
• Erfahrung in der Überprüfung technischer Designs anderer oder in der Mentoring von Ingenieuren auf Senior-/Staff-Ebene.

Vergütung und Standort

Die Vergütungsdetails variieren je nach Standort. Die Grundgehaltsspanne für diese Vollzeitstelle in Städten wie San Francisco, New York und Seattle liegt zwischen 216.000 und 270.000 USD. Die Rolle kann eine aktienbasierte Vergütung und ein Leistungspaket umfassen, wobei die Berechtigung während des Einstellungsprozesses festgelegt wird.

Chancengleichheit und Barrierefreiheit

Scale ist ein Arbeitgeber, der Chancengleichheit bietet. Wir setzen uns für Inklusivität ein und bieten angemessene Vorkehrungen im Einstellungsprozess. Wenn Sie aufgrund einer Behinderung eine Vorkehrung benötigen, kontaktieren Sie uns bitte unter accommodations at scale dot com.