Research Engineer, Pre-training

Über Anthropic: Anthropic’s Mission ist es, zuverlässige, interpretierbare und steuerbare KI-Systeme zu schaffen. Wir möchten, dass KI sicher und vorteilhaft für unsere Nutzer und die Gesellschaft als Ganzes ist. Unser Team ist eine schnell wachsende Gruppe engagierter Forscher, Ingenieure, Politikspezialisten und Geschäftsleiter, die zusammenarbeiten, um nützliche KI-Systeme zu entwickeln. Anthropic steht an der Spitze der KI-Forschung und widmet sich der Entwicklung sicherer, ethischer und leistungsstarker künstlicher Intelligenz. Unsere Mission ist es, sicherzustellen, dass transformative KI-Systeme mit den menschlichen Interessen in Einklang stehen.

Wir suchen einen Research Engineer, der unserem Pre-Training-Team beitritt, das für die Entwicklung der nächsten Generation großer Sprachmodelle verantwortlich ist. In dieser Rolle arbeiten Sie an der Schnittstelle zwischen modernster Forschung und praktischer Ingenieurarbeit und tragen zur Entwicklung sicherer, steuerbarer und vertrauenswürdiger KI-Systeme bei.

Hauptverantwortlichkeiten:

• Forschung durchführen und Lösungen in Bereichen wie Modellarchitektur, Algorithmen, Datenverarbeitung und Optimiererentwicklung implementieren
• Unabhängig kleine Forschungsprojekte leiten und gleichzeitig mit Teammitgliedern an größeren Initiativen zusammenarbeiten
• Wissenschaftliche Experimente entwerfen, durchführen und analysieren, um unser Verständnis großer Sprachmodelle voranzutreiben
• Unsere Trainingsinfrastruktur optimieren und skalieren, um Effizienz und Zuverlässigkeit zu verbessern
• Entwicklung und Verbesserung von Entwicklungstools zur Steigerung der Produktivität des Teams
• Zur gesamten Technik beitragen, von Low-Level-Optimierungen bis hin zu High-Level-Modell-Design

Qualifikationen:

• Fortgeschrittene Abschlüsse (MS oder PhD) in Informatik, Maschinenlernen oder einem verwandten Bereich
• Starke Software-Engineering-Fähigkeiten mit nachweislicher Erfahrung im Aufbau komplexer Systeme
• Expertise in Python und Erfahrung mit Deep-Learning-Frameworks (PyTorch bevorzugt)
• Vertrautheit mit groß angelegtem maschinellen Lernen, insbesondere im Kontext von Sprachmodellen
• Fähigkeit, Forschungsziele mit praktischen Ingenieuranforderungen in Einklang zu bringen
• Starke Problemlösungsfähigkeiten und eine ergebnisorientierte Denkweise
• Ausgezeichnete Kommunikationsfähigkeiten und die Fähigkeit, in einer kollaborativen Umgebung zu arbeiten
• Interesse an den gesellschaftlichen Auswirkungen Ihrer Arbeit

Bevorzugte Erfahrungen:

• Arbeit an hochleistungsfähigen, groß angelegten ML-Systemen
• Vertrautheit mit GPUs, Kubernetes und Betriebssysteminternas
• Erfahrung mit Sprachmodellierung unter Verwendung von Transformatorarchitekturen
• Kenntnisse über Techniken des verstärkenden Lernens
• Hintergrund in groß angelegten ETL-Prozessen

Sie werden in dieser Rolle erfolgreich sein, wenn Sie:

• Über umfangreiche Software-Engineering-Erfahrung verfügen
• Ergebnisorientiert sind mit einer Neigung zu Flexibilität und Einfluss
• Bereitwillig Aufgaben außerhalb Ihrer Stellenbeschreibung übernehmen, um das Team zu unterstützen
• Pair Programming und kollaborative Arbeit genießen
• Neugierig sind, mehr über die Forschung im Bereich maschinelles Lernen zu lernen
• Begeistert sind, in einer Organisation zu arbeiten, die als ein einziges, kohärentes Team große Forschungsprojekte im Bereich KI verfolgt
• Darauf hinarbeiten, moderne Modelle mit menschlichen Werten und Vorlieben in Einklang zu bringen, tiefneuronale Netzwerke zu verstehen und zu interpretieren oder neue Modelle zu entwickeln, um diese Forschungsbereiche zu unterstützen
• Forschung und Ingenieurwesen als zwei Seiten derselben Medaille betrachten und alle Aspekte unseres Forschungsprogramms so gut wie möglich verstehen möchten, um die Auswirkungen Ihrer Erkenntnisse zu maximieren
• Ambitionierte Ziele für die Sicherheit von KI und den allgemeinen Fortschritt in den nächsten Jahren haben und daran arbeiten, die besten Ergebnisse auf lange Sicht zu erzielen

Beispielprojekte:

• Optimierung des Durchsatzes neuartiger Aufmerksamkeitsmechanismen
• Vergleich der Recheneffizienz verschiedener Transformer-Varianten
• Vorbereitung groß angelegter Datensätze für eine effiziente Modellerfassung
• Skalierung verteilter Trainingsjobs auf Tausende von GPUs
• Entwicklung von Fehlertoleranzstrategien für unsere Trainingsinfrastruktur
• Erstellung interaktiver Visualisierungen von Modellinternas, wie z.B. Aufmerksamkeitsmustern

Bei Anthropic setzen wir uns dafür ein, einen vielfältigen und integrativen Arbeitsplatz zu fördern. Wir ermutigen ausdrücklich Bewerbungen von Kandidaten aller Hintergründe, einschließlich solcher aus unterrepräsentierten Gruppen in der Technologie. Wenn Sie begeistert sind, die Grenzen der KI zu erweitern und dabei Sicherheit und Ethik zu priorisieren, möchten wir von Ihnen hören!

Gehalt: Die erwartete Gehaltsspanne für diese Position beträgt: Jahresgehalt: 340.000—425.000 USD

Logistik:

• Bildungsanforderungen: Wir verlangen mindestens einen Bachelor-Abschluss in einem verwandten Bereich oder gleichwertige Erfahrung.
• Standortbasierte Hybridpolitik: Derzeit erwarten wir, dass alle Mitarbeiter mindestens 25% der Zeit in einem unserer Büros sind. Einige Rollen können jedoch mehr Zeit in unseren Büros erfordern.
• Visumsponsoring: Wir sponsern Visas! Wir sind jedoch nicht in der Lage, für jede Rolle und jeden Kandidaten erfolgreich Visas zu sponsern. Wenn wir Ihnen jedoch ein Angebot machen, werden wir alle angemessenen Anstrengungen unternehmen, um Ihnen ein Visum zu besorgen, und wir behalten einen Einwanderungsanwalt, um dabei zu helfen.

Wir ermutigen Sie, sich zu bewerben, auch wenn Sie nicht glauben, dass Sie jede einzelne Qualifikation erfüllen. Nicht alle starken Kandidaten erfüllen jede einzelne Qualifikation, wie sie aufgeführt ist. Forschung zeigt, dass Personen, die sich als Teil unterrepräsentierter Gruppen identifizieren, eher dazu neigen, Imposter-Syndrom zu erleben und an der Stärke ihrer Kandidatur zu zweifeln. Daher fordern wir Sie auf, sich nicht vorzeitig auszuschließen und eine Bewerbung einzureichen, wenn Sie an dieser Arbeit interessiert sind.

Wir glauben, dass KI-Systeme wie die, die wir bauen, enorme soziale und ethische Implikationen haben. Das macht Repräsentation noch wichtiger, und wir streben danach, eine Vielzahl von unterschiedlichen Perspektiven in unser Team einzubeziehen.

Wie wir anders sind: Wir glauben, dass die wirkungsvollste KI-Forschung große Wissenschaft sein wird. Bei Anthropic arbeiten wir als ein einziges kohärentes Team an nur wenigen groß angelegten Forschungsanstrengungen. Und wir schätzen den Einfluss — die Verwirklichung unserer langfristigen Ziele für steuerbare, vertrauenswürdige KI — mehr als die Arbeit an kleineren und spezifischeren Rätseln. Wir betrachten KI-Forschung als empirische Wissenschaft, die ebenso viel mit Physik und Biologie zu tun hat wie mit traditionellen Bemühungen in der Informatik. Wir sind eine äußerst kollaborative Gruppe und veranstalten häufig Forschungsdiskussionen, um sicherzustellen, dass wir zu jedem Zeitpunkt die wirkungsvollste Arbeit verfolgen. Daher schätzen wir Kommunikationsfähigkeiten sehr.

Der einfachste Weg, unsere Forschungsrichtungen zu verstehen, besteht darin, unsere aktuellen Forschungsarbeiten zu lesen. Diese Forschung setzt viele der Richtungen fort, an denen unser Team vor Anthropic gearbeitet hat, einschließlich: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety und Learning from Human Preferences.

Kommen Sie zu uns! Anthropic ist eine gemeinnützige Gesellschaft mit Sitz in San Francisco. Wir bieten wettbewerbsfähige Vergütung und Leistungen, optionale Aktien-Spendenübereinstimmungen, großzügige Urlaubs- und Elternzeitregelungen, flexible Arbeitszeiten und einen schönen Büroraum, in dem Sie mit Kollegen zusammenarbeiten können.

Richtlinien zur Nutzung von KI durch Kandidaten: Erfahren Sie mehr über unsere Richtlinien zur Nutzung von KI in unserem Bewerbungsprozess.