Research Engineer/Scientist - Human Alignment, Consumer Devices

Über das Team

Das Future of Computing Research-Team ist ein angewandtes Forschungsteam innerhalb der Consumer Devices-Gruppe, das sich auf die Entwicklung neuer Methoden, Modelle und Evaluierungsrahmen konzentriert, die unsere Vision für die Zukunft des Rechnens unterstützen. Wir arbeiten an der Grenze der multimodalen KI und helfen dabei, aufkommende Modellfähigkeiten in Produkt-Erlebnisse umzuwandeln, die nützlich, erfreulich und vertrauenswürdig sind. Unsere Arbeit erforscht eine neue Klasse von KI-Systemen, die im Laufe der Zeit lernen, sich an Individuen anpassen und Menschen im Fluss des täglichen Lebens unterstützen können. Dazu gehören langfristiges Gedächtnis, Benutzer-Modellierung und Personalisierungssysteme, die nicht nur mit unmittelbarer Zufriedenheit, sondern auch mit den breiteren Zielen, Werten und dem Wohlbefinden einer Person in Einklang stehen.

Wir arbeiten eng mit Forschung, Ingenieurwesen, Design, Produkt und Sicherheit zusammen, um zu definieren, was es bedeutet, KI-Systeme zu entwickeln, die dich über die Zeit kennen, im richtigen Moment handeln und auf kontextbewusste, respektvolle und nachweislich vorteilhafte Weise helfen.

Über die Rolle

Wir suchen einen Research Engineer / Scientist, der dem Future of Computing Research-Team beitritt, um an RLHF und Nachschulung für personalisierte, multimodale KI-Systeme zu arbeiten. Diese Rolle konzentriert sich auf den Aufbau der Lern- und Evaluierungsgrundlagen, die dazu beitragen, dass Modelle im Laufe der Zeit kontextbewusster, anpassungsfähiger und nützlicher werden. Es umfasst Belohnungsmodellierung, Präferenzlernen, langfristige Evaluierung und Politikverbesserung für Systeme, die qualitativ hochwertige Verhaltensentscheidungen in realistischen Benutzereinstellungen treffen müssen. Die Arbeit ist stark produktorientiert: Erfolg bedeutet nicht nur eine höhere Benchmark-Leistung, sondern besseres Modellverhalten in der realen Nutzung. Der ideale Kandidat ist begeistert davon, über das Verhalten eines Einmal-Assistenten hinauszugehen und Systeme zu entwickeln, die durch Feedback verbessert werden, aus reichhaltigeren Signalen lernen und gegen bedeutungsvolle Vorstellungen von Benutzerwert trainiert werden.

Intern korreliert dies eng mit der Notwendigkeit einer sorgfältigen Belohnungsgestaltung, Feedback-Schleifen und Evaluierungsrahmen, die testen, ob Interventionen tatsächlich über längere Zeiträume hinweg vorteilhaft sind.

Diese Rolle ist in San Francisco, CA, angesiedelt. Wir verwenden ein hybrides Arbeitsmodell von vier Tagen im Büro pro Woche und bieten Umzugsunterstützung für neue Mitarbeiter an.

Verantwortlichkeiten

• Entwicklung von RLHF- und Nachschulungsmethoden für multimodale Modelle.
• Aufbau von Belohnungsmodellen und Präferenz-Lernpipelines für adaptive, personalisierte Modellverhalten.
• Gestaltung von Datensätzen, Rubriken und Evaluierungsrahmen, die Benutzerpräferenzen, kontextuelle Angemessenheit und langfristigen Wert in realistischen Aufgaben erfassen.
• Durchführung von Experimenten zur Politikverbesserung unter Verwendung von explizitem Feedback, impliziten Signalen und modellbasiertem Grading.
• Arbeiten an langfristigen Evaluierungsproblemen, bei denen die Modellqualität nicht nur von einer einzelnen Antwort abhängt, sondern davon, ob sich das Verhalten im Laufe der Zeit verbessert.
• Enge Zusammenarbeit mit Sicherheitsforschern, um sicherzustellen, dass Anpassung und Personalisierung im Einklang, interpretierbar und durch klare Einschränkungen begrenzt bleiben.