AI Research Scientist - Multimodal Intelligence

Stellen Sie sich vor, was Sie hier tun könnten. Bei Apple haben neue Ideen die Möglichkeit, außergewöhnliche Produkte, Dienstleistungen und Kundenerlebnisse sehr schnell zu werden. Bringen Sie Leidenschaft und Engagement in Ihre Arbeit ein, und es gibt keine Grenzen für das, was Sie erreichen könnten. Die Menschen, die hier arbeiten, haben ganze Branchen mit allen Apple-Hardwareprodukten neu erfunden. Die gleiche Innovationsleidenschaft, die in unsere Produkte einfließt, gilt auch für unsere Praktiken und stärkt unser Engagement, die Welt besser zu hinterlassen, als wir sie vorgefunden haben. Schließen Sie sich uns in dieser aufregenden Ära der Künstlichen Intelligenz an, um die nächsten bahnbrechenden Apple-Produkte und -Erlebnisse zu liefern!

Wir entwickeln kontinuierlich den Stand der Technik in Computer Vision und Machine Learning weiter und berühren alle Aspekte von Sprache und multimodalen Grundmodellen, von der Datensammlung über die Datenaufbereitung bis hin zu Modellierung, Bewertung und Bereitstellung. Als Mitglied unserer dynamischen Gruppe haben Sie die einzigartige und lohnende Gelegenheit, kommende Forschungsrichtungen im Bereich multimodaler Grundmodelle zu gestalten, die zukünftige Apple-Produkte inspirieren werden. Sie arbeiten mit hochqualifizierten und technisch versierten Wissenschaftlern und Ingenieuren zusammen, um bahnbrechende Lösungen für herausfordernde Probleme zu entwickeln.

Diese Position bietet die Möglichkeit, Teil dessen zu sein, was die Zukunft der Apple-Produkte bildet, die das Leben vieler Menschen berühren werden. Wir (Multimodal Intelligence Team) suchen einen AI Research Scientist, der im Bereich Generative AI und multimodale Grundmodelle arbeitet. Unser Team hat eine nachgewiesene Erfolgsbilanz bei der Bereitstellung von Funktionen, die mehrere Sensoren nutzen, wie FaceID, RoomPlan und Handverfolgung in VisionPro, sowie eine starke Forschungspräsenz in der multimodalen KI-Community. Unsere Veröffentlichungen umfassen multimodales Pre-Training, vision-sprachliche Modelle, video-sprachliche Modelle und multimodale Ausrichtung.

Sie werden an der Weiterentwicklung der Fähigkeiten von Grundmodellen arbeiten und diese auf reale Anwendungen in Apple-Produkten ausrichten. Dazu gehört die Forschung und Entwicklung von Methoden, die die Ausrichtung, das Denken und die Anpassung großer Modelle an praktische Anwendungsfälle verbessern, während sichergestellt wird, dass sie Apples Standards für Effizienz, Skalierbarkeit und Datenschutz entsprechen. Ihr Fokus liegt auf der Erstellung maßgeschneiderter Grundmodelle mit gezielten Fähigkeiten, die effizient in eingeschränkten Umgebungen arbeiten und die nächste Generation von Intelligenz im gesamten Apple-Ökosystem unterstützen.

Ihre Arbeit umfasst das Vorantreiben neuer Forschung und das Identifizieren geeigneter Techniken für die reale Bereitstellung, um wissenschaftliche Fortschritte in produktionsreife Lösungen zu übersetzen. Sie entwerfen und optimieren großangelegte Datenpipelines, die robustes Training und detaillierte Bewertungen von Grundmodellen unterstützen, und arbeiten mit massiven multimodalen Datensätzen, um die Leistungsgrenzen zu erweitern. Sie erkunden neue Techniken, die fokussiertes Denken, multimodales Verständnis und adaptives Verhalten stärken, sodass Modelle gut im großen Maßstab funktionieren und gleichzeitig auf spezifische Apple-Erlebnisse zugeschnitten sind, von Cloud-Systemen bis hin zu On-Device-Intelligenz.

Zusammenarbeit ist in dieser Rolle entscheidend. Sie arbeiten mit multifunktionalen Teams von Ingenieuren und Forschern zusammen, um maßgeschneiderte und effiziente Modelle in Apple-Produkte zu integrieren und intelligente sowie natürliche Benutzererlebnisse im gesamten Ökosystem zu ermöglichen.

• Fundierte Programmierkenntnisse in Python und Erfahrung mit mindestens einem modernen Deep-Learning-Framework (PyTorch, JAX oder TensorFlow).
• Erfahrung mit großangelegten Trainingspipelines und verteilten Systemen.
• MS in Informatik, Computer Vision, Machine Learning oder einem verwandten technischen Bereich und mindestens 6 Jahre relevante Erfahrung.

• PhD oder gleichwertige praktische Erfahrung in Informatik, Machine Learning oder einem verwandten technischen Bereich.
• Nachgewiesene Expertise im verwandten Bereich mit Veröffentlichungsnachweisen in relevanten Konferenzen (z.B. NeurIPS, ICML, ICLR, CVPR, ICCV, ECCV, COLM usw.).
• Erfahrung mit dem gesamten Spektrum des Trainings von Grundmodellen (vision-sprache).
• Vertrautheit mit großangelegten Datenpipelines, einschließlich Datenaufbereitung, Vorverarbeitung und effizienter Speicherung.
• Fähigkeit, effektiv in einer multifunktionalen, kollaborativen Umgebung zu arbeiten.
• Erfahrung mit fortgeschrittenen Denk- oder Verstärkungslernmethoden.
• Erfahrung mit Modell-Destillation unter Verwendung von On-Policy- oder Off-Policy-Techniken.

Bei Apple sind wir nicht alle gleich. Und das ist unsere größte Stärke. Wir ziehen die Unterschiede in dem, wer wir sind, was wir erlebt haben und wie wir denken, heran. Denn um Produkte zu schaffen, die allen dienen, glauben wir daran, jeden einzubeziehen. Daher verpflichten wir uns, alle Bewerber fair und gleich zu behandeln. Wir werden mit Bewerbern zusammenarbeiten, um angemessene Vorkehrungen zu treffen.

Bei Apple glauben wir, dass Zugänglichkeit ein fundamentales Menschenrecht ist. Sie werden diese Idee in allem hier finden – in unserer Kultur, unseren Vorteilen und unseren digitalen Werkzeugen. Indem wir so viele Perspektiven wie möglich willkommen heißen, helfen wir Ihnen, eine Karriere aufzubauen, in der Sie sich zugehörig fühlen.