AI Researcher — Distillation

Diese Position wird im Auftrag eines Partnerunternehmens ausgeschrieben, das alle Bewerbungen und nächsten Schritte verwaltet. Unser Partner sucht einen AI Researcher — Distillation mit Sitz in der Schweiz. Treten Sie einer hoch technischen Forschungsumgebung bei, die sich auf die Verbesserung der Effizienz und Leistung moderner KI-Modelle konzentriert.

Sie werden Techniken erforschen, die große, ressourcenintensive Modelle in kleinere, schnellere und besser einsetzbare Systeme umwandeln, ohne die Qualität zu beeinträchtigen. Die Rolle kombiniert grundlegende Forschung im Bereich maschinelles Lernen mit praktischen Experimenten und realen Ingenieurchallenges. Sie haben die Möglichkeit, die Modell-Distillation über große Sprachmodelle, Langkontextarchitekturen und umgebungsbeschränkte Inferenz zu erkunden. Ihre Arbeit wird von Forschungsansätzen und rigorosen Experimenten in Produktionssysteme mit messbarem Einfluss übergehen.

Sie werden eng mit Ingenieuren zusammenarbeiten und zur Veröffentlichung, technischen Forschung und möglicherweise Open-Source-Projekten beitragen. Diese Gelegenheit eignet sich besonders für Forscher, die bedeutenden Einfluss auf ihre Arbeit haben möchten und die Möglichkeit sehen wollen, ihre Ideen in der Praxis umzusetzen.

Verantwortlichkeiten:

• Entwerfen, Implementieren und Bewerten fortschrittlicher Modell-Distillationstechniken, einschließlich Lehrer-Schüler-Training, Selbst-Distillation, schichtweiser Distillation und Repräsentationsabgleich.
• Untersuchen der Trade-offs zwischen Modellgröße, Latenz, Speicherverbrauch, Durchsatz und Genauigkeit.
• Entwickeln neuartiger Ansätze zur Distillation großer Sprachmodelle, Langkontext- oder spezialisierter Architekturen sowie Modelle, die für umgebungsbeschränkte Inferenz konzipiert sind.
• Durchführen großangelegter Experimente, Ablationsstudien und rigoroser Analysen zur Validierung von Forschungshypothesen und Identifizierung bedeutender Verbesserungen.
• Übersetzen von Forschungsergebnissen in praktische Implementierungen und enge Zusammenarbeit mit Ingenieurteams zur Produktionsrealisierung erfolgreicher Ansätze.
• Vorbereiten und Einreichen von Forschungsarbeiten bei führenden Konferenzen und Veranstaltungsorten für maschinelles Lernen wie NeurIPS, ICML, ICLR und COLM.
• Beitragen zu interner Forschungsdokumentation, technischen Artikeln und Open-Source-Projekten im Bereich maschinelles Lernen, wo dies angemessen ist.
• Klare Kommunikation von Forschungszielen, -methoden, -ergebnissen, -trade-offs und -einschränkungen an technische Stakeholder.

Anforderungen:

• Starker akademischer oder beruflicher Hintergrund in der Forschung zum maschinellen Lernen mit solidem Verständnis der Grundlagen des tiefen Lernens.
• Praktische Erfahrung mit Modell-Distillation oder eng verwandten Bereichen wie Modellkompression, Pruning, Quantisierung oder Repräsentationslernen.
• Nachgewiesene Veröffentlichungserfahrung durch Konferenz- oder Zeitschriftenartikel, Workshop-Veröffentlichungen oder arXiv-Preprints.
• Starkes Verständnis von Optimierung, Trainingsdynamik, Verallgemeinerung und modernen Methoden des tiefen Lernens.
• Fließend in PyTorch oder einem gleichwertigen Framework für tiefes Lernen, mit Erfahrung in der Durchführung von experimenteller Forschung.
• Fähigkeit, rigorose Experimente zu entwerfen, Ergebnisse zu interpretieren und Forschungsansätze kritisch zu bewerten.
• Starke schriftliche und mündliche Kommunikationsfähigkeiten, mit der Fähigkeit, komplexe Forschungsansätze und -ergebnisse klar zu erklären.
• Erfahrung mit der Distillation großer Sprachmodelle ist sehr geschätzt.
• Hintergrund in forschungsorientierter Effizienz, die Latenz, Speicher, Durchsatz oder verwandte Bereitstellungseinschränkungen umfasst, ist vorteilhaft.
• Erfahrung mit Langkontextmodellen oder Nicht-Transformer-Architekturen ist ein Plus.
• Open-Source-Beiträge zu maschinellem Lernen, Forschungstools oder verwandten Projekten sind von Vorteil.
• Frühere Erfahrungen in Startups oder angewandter Forschung sind willkommen.
• PhD, Postdoc, akademische Forschung oder industrielle Forschung im Bereich maschinelles Lernen oder einem verwandten Bereich sind besonders relevant, obwohl auch gleichwertige Forschungshintergründe berücksichtigt werden können.

Vorteile:

• Bedeutender Einfluss und Verantwortung über die Forschungsrichtung in einer Series A-Umgebung.
• Starke Unterstützung für die Veröffentlichung von Forschung und die Verfolgung offener Forschungsinitiativen.
• Enger Feedback-Zyklus zwischen Forschungsexperimenten und realer Produktionsbereitstellung.
• Zugang zu bedeutenden Rechenressourcen und produktionsgroßen Problemen im Bereich maschinelles Lernen.
• Gelegenheit, an modernen Herausforderungen der Modelleffizienz und Distillation zu arbeiten.
• Zusammenarbeit innerhalb eines kleinen, hoch technischen Teams mit tiefem Fachwissen in maschinellem Lernen und Systemen.
• Gelegenheit, den Fortschritt der Forschung von Artikeln und experimentellem Code bis hin zu implementierten KI-Systemen zu verfolgen.
• Einblick in große Sprachmodelle, effiziente Inferenz, Langkontextarchitekturen und andere aufkommende KI-Technologien.