ML/Research Engineer, Safeguards

Über Anthropic: Die Mission von Anthropic ist es, zuverlässige, interpretierbare und steuerbare KI-Systeme zu schaffen. Wir möchten, dass KI sicher und vorteilhaft für unsere Nutzer und die Gesellschaft insgesamt ist. Unser Team ist eine schnell wachsende Gruppe engagierter Forscher, Ingenieure, Politikspezialisten und Geschäftsleiter, die zusammenarbeiten, um nützliche KI-Systeme zu entwickeln.

Über die Rolle: Wir suchen ML-Ingenieure und Forschungsingenieure, die helfen, den Missbrauch unserer KI-Systeme zu erkennen und zu mindern. Als Mitglied des Safeguards-ML-Teams werden Sie Systeme entwickeln, die schädliche Nutzung identifizieren – von individuellen Richtlinienverstößen bis hin zu ausgeklügelten, koordinierten Angriffen – und Abwehrmaßnahmen entwickeln, die unsere Produkte sicher halten, während sich die Fähigkeiten weiterentwickeln. Sie werden auch an Systemen arbeiten, die das Wohlbefinden der Nutzer schützen und sicherstellen, dass unsere Modelle in einer Vielzahl von Kontexten angemessen agieren.

Verantwortlichkeiten:

• Entwicklung von Klassifikatoren zur Erkennung von Missbrauch und anomalem Verhalten in großem Maßstab, einschließlich des Aufbaus synthetischer Datenpipelines für das Training von Klassifikatoren und Methoden zur automatischen Beschaffung repräsentativer Bewertungen für Iterationen.
• Aufbau von Systemen zur Überwachung von Schäden, die mehrere Austauschplattformen umfassen, wie koordinierte Cyberangriffe und Einflussoperationen, sowie Entwicklung neuer Methoden zur Aggregation und Analyse von Signalen über Kontexte hinweg.
• Bewertung und Verbesserung der Sicherheit agentischer Produkte durch Entwicklung von Bedrohungsmodellen und Umgebungen zum Testen agentischer Risiken sowie Bereitstellung von Milderungsmaßnahmen gegen Eingabeangriffe.
• Durchführung von Forschungen zu automatisiertem Red-Teaming, adversarialer Robustheit und anderen Studien, die auf Missbrauch testen oder diesen aufdecken.

Qualifikationen:

• 4+ Jahre Erfahrung in ML-Engineering, Forschungsengineering oder angewandter Forschung, in der Wissenschaft oder Industrie.
• Beherrschung von Python und Erfahrung im Aufbau von ML-Systemen.
• Komfortabel im Arbeiten über die gesamte Pipeline von Forschung bis Bereitstellung, von explorativen Experimenten bis hin zu Produktionssystemen.
• Besorgt über Missbrauchsrisiken von KI-Systemen und bereit, diese zu mindern.
• Starke Kommunikationsfähigkeiten und die Fähigkeit, komplexe technische Konzepte nicht-technischen Stakeholdern zu erklären.

Bevorzugte Erfahrungen mit Sprachmodellierung und Transformatoren, dem Aufbau von Klassifikatoren, Anomalieerkennungssystemen oder verhaltensbasiertem ML, adversarialem maschinellen Lernen oder Red-Teaming, Interpretierbarkeit oder Sonden, verstärkendem Lernen und leistungsstarken, großangelegten ML-Systemen.

Vergütung: Jahresgehalt: 350.000 — 500.000 USD

Logistik: Mindestbildung: Bachelor-Abschluss oder eine gleichwertige Kombination aus Bildung, Ausbildung und/oder Erfahrung. Erforderliches Studienfeld: Ein für die Rolle relevantes Feld, das durch Kursarbeit, Ausbildung oder berufliche Erfahrung nachgewiesen wird. Mindestjahre an Erfahrung: 4+ Jahre, die mit den internen Anforderungen des Jobniveaus korrelieren.

Standortbasierte Hybridpolitik: Derzeit erwarten wir, dass alle Mitarbeiter mindestens 25% der Zeit in einem unserer Büros sind, obwohl einige Rollen möglicherweise mehr Büropräsenz erfordern. Visumsponsoring: Wir sponsern Visa, obwohl nicht alle Rollen oder Kandidaten für ein Sponsoring in Frage kommen.