Research Scientist, Safety Post Training

Als führender Daten- und Evaluierungspartner für Unternehmen im Bereich der fortschrittlichen KI spielt Scale eine wesentliche Rolle beim Verständnis der Fähigkeiten und der Sicherung von KI-Modellen und -Systemen. Scale Labs hat ein neues Team gegründet, das sich auf die Politikforschung konzentriert, um die Lücke zwischen KI-Forschung und globalen politischen Entscheidungsträgern zu schließen und informierte, wissenschaftliche Entscheidungen über KI-Risiken und -Fähigkeiten zu treffen. Unsere Forschung befasst sich mit den schwierigsten Problemen in Bezug auf die Robustheit von Agenten, KI-Kontrollprotokolle und KI-Risikobewertungen, um Regierungen, der Industrie und der Öffentlichkeit zu helfen, KI-Risiken zu verstehen und zu mindern, während die KI-Adoption maximiert wird. Das Team arbeitet eng mit der Industrie, dem öffentlichen Sektor und der Wissenschaft zusammen und veröffentlicht regelmäßig unsere Ergebnisse.

Wir suchen aktiv talentierte Forscher, die uns dabei unterstützen, diese Vision zu gestalten.

Als Research Scientist, der an Safety Post-Training arbeitet, werden Sie Methoden und Techniken zur Interpretierbarkeit nach dem Training entwickeln und anwenden, um fortschrittliche KI-Systeme sicherer und besser verständlich für Forscher und politische Entscheidungsträger zu machen. Zum Beispiel könnten Sie:

• Post-Training-Pipelines entwerfen und durchführen, um zu untersuchen, wie Trainingsentscheidungen die Sicherheit, Robustheit und Ausrichtungsmerkmale von Modellen beeinflussen;
• Bewertungen, die auf Interpretierbarkeit basieren, entwickeln, die aufzeigen, wie und warum Modelle unsichere, täuschende oder anderweitig unerwünschte Verhaltensweisen produzieren, und diese Erkenntnisse nutzen, um gezielte Minderung zu leiten;
• Mit politischen Entscheidungsträgern, Ingenieuren und anderen Forschern zusammenarbeiten, um Erkenntnisse aus dem Post-Training und der Interpretierbarkeit in umsetzbare Sicherheitsstandards, Bewertungsbenchmarks und Best Practices zu übersetzen.

• Engagement für unsere Mission, sichere, geschützte und vertrauenswürdige KI-Einführungen in der Industrie zu fördern, während sich die Fähigkeiten der fortschrittlichen KI weiterentwickeln.
• Erfahrung mit Post-Training- und RL-Techniken wie RLHF, DPO, GRPO und ähnlichen Ansätzen.
• Eine Erfolgsbilanz veröffentlichter Forschung im Bereich des maschinellen Lernens, insbesondere in der generativen KI.
• Mindestens drei Jahre Erfahrung in der Bearbeitung komplexer ML-Probleme, sei es in einem Forschungsumfeld oder in der Produktentwicklung.
• Starke schriftliche und mündliche Kommunikationsfähigkeiten, um in einem funktionsübergreifenden Team zu arbeiten.

• Erfahrung mit mechanistischer Interpretierbarkeit, Probing oder anderen Techniken zum Verständnis der internen Abläufe von Modellen.
• Vertrautheit mit Red-Teaming oder adversarialer Bewertung von nachtrainierten Modellen.
• Erfahrung in der Untersuchung von Fehlermodi, die durch das Post-Training eingeführt oder maskiert werden, wie z.B. Belohnungshacking, Schmeichelei oder Ausrichtungsfälschung.

Unsere Forschungsinterviews bewerten die Fähigkeiten der Kandidaten in der praktischen ML-Prototypisierung und -Fehlerbehebung, ihr Verständnis von Forschungskonzepten und ihre Übereinstimmung mit unserer Unternehmenskultur. Wir stellen keine LeetCode-ähnlichen Fragen. Wenn Sie begeistert sind, die Sicherheit von KI voranzutreiben und zu unserer Mission beizutragen, ermutigen wir Sie, sich zu bewerben, auch wenn Ihre Erfahrung nicht perfekt mit jeder Anforderung übereinstimmt.

Die Vergütungspakete umfassen Grundgehalt, Eigenkapital und Sozialleistungen. Die Gehaltsspanne für diese Vollzeitstelle in San Francisco, New York und Seattle liegt bei 216.000–270.000 USD. Zu den Leistungen gehören umfassende Gesundheits-, Zahn- und Augenversicherung, Altersvorsorge, ein Lern- und Entwicklungsetat, großzügiger PTO und ein Pendlerzuschuss. Eine Eigenkapitalvergütung, vorbehaltlich der Genehmigung durch den Vorstand, kann ebenfalls angeboten werden.

Wir sind stolz darauf, ein integrativer und gleichberechtigter Arbeitsplatz zu sein. Wir setzen uns für Chancengleichheit bei der Beschäftigung unabhängig von Rasse, Hautfarbe, Abstammung, Religion, Geschlecht, nationaler Herkunft, sexueller Orientierung, Alter, Staatsbürgerschaft, Familienstand, Behinderungsstatus, Geschlechtsidentität oder Veteranenstatus ein.

Wir sammeln, speichern und verwenden persönliche Daten für berufliche Geschäftszwecke. Weitere Informationen finden Sie in unserer Datenschutzrichtlinie. Eine Wartezeit von 90 Tagen gilt, bevor Kandidaten für dieselbe Rolle erneut in Betracht gezogen werden.