AI Research Engineer (Kernel & Inference Optimization) in Wien

Diese Position wird im Auftrag eines Partnerunternehmens ausgeschrieben, das alle Bewerbungen und nächsten Schritte verwaltet. Unser Partner sucht einen AI Research Engineer (Kernel & Inference Optimization) mit Sitz in Österreich. Sie werden an der Schnittstelle von KI-Forschung, Systemtechnik und hochleistungsfähiger Modellinferenz arbeiten. Ihr Fokus liegt auf der Entwicklung und Optimierung von Modellbereitstellungsarchitekturen für fortschrittliche KI-Systeme in einer Vielzahl von Hardwareumgebungen. Sie werden Herausforderungen in Bezug auf Latenz, Durchsatz, Speichereffizienz und Skalierbarkeit angehen, einschließlich der Bereitstellung auf ressourcenbeschränkten mobilen und Edge-Geräten.

Die Rolle kombiniert praktische Forschung mit niedrigstufiger Technik und gibt Ihnen die Möglichkeit, neuartige Inferenzstrategien und GPU-Kerne zu entwickeln. Sie werden mit komplexen Architekturen arbeiten, die Text-, Bild-, Audio-, Diffusionsmodelle und Vision-Transformatoren umfassen. Ihre Arbeit wird rigoroses Benchmarking, Produktionstests und iterative Optimierung beinhalten, um Forschung in messbare Leistungsverbesserungen zu übersetzen. Sie werden mit funktionsübergreifenden Teams in einer hochtechnischen, remote Umgebung zusammenarbeiten, die sich darauf konzentriert, die Grenzen effizienter KI-Systeme zu erweitern.

Verantwortlichkeiten:

• Entwurf und Bereitstellung fortschrittlicher Modellbereitstellungsarchitekturen, die für hohen Durchsatz, niedrige Latenz und effiziente Speichernutzung optimiert sind.
• Entwicklung von Inferenzpipelines, die effektiv in verschiedenen Umgebungen, einschließlich ressourcenbeschränkter mobiler Geräte und Edge-Plattformen, arbeiten können.
• Festlegung klarer Leistungsziele, die Antwortlatenz, Token-Generierungsgeschwindigkeit, Durchsatz, Speicherbedarf und Zuverlässigkeit abdecken.
• Erstellung und Durchführung kontrollierter Inferenzbenchmarks in simulierten und Produktionsumgebungen, Überwachung von Latenz, Durchsatz, Speicherverbrauch und Fehlerquoten.
• Erstellung und Pflege repräsentativer Datensätze und Simulationsszenarien zur Bewertung der Modellleistung unter realen und ressourcenbeschränkten Bedingungen.
• Identifizierung von Rechen- und Speicherengpässen in Inferenzpipelines und Implementierung von Lösungen, die Batching, Netzwerk, Speichermanagement und andere systemweite Optimierungen umfassen.
• Entwicklung benutzerdefinierter GPU-Kerne und Compute-Shader für mobile Hardware, einschließlich Lösungen, die in Metal Shading Language (MSL) geschrieben sind.
• Anwendung fortschrittlicher Inferenzoptimierungstechniken wie Pruning, Quantisierung, Flash Attention, KV-Caching und spekulative Dekodierung.
• Entwurf und Optimierung verteilter Inferenzsysteme unter Verwendung von Ansätzen wie Tensorparallelismus, Pipelineparallelismus und Expertenparallelismus für großangelegte GPU-Arbeitslasten.
• Zusammenarbeit mit funktionsübergreifenden Ingenieur- und Forschungsteams zur Integration optimierter Inferenzframeworks in Produktions- und Edge-Geräteanwendungen.
• Definition von Evaluierungsmethoden, Dokumentation experimenteller Ergebnisse, Vergleich der Leistung mit etablierten Benchmarks und kontinuierliche Verfeinerung von Optimierungsstrategien.
• Überwachung der Produktionsleistung und Nutzung empirischer Forschung zur Identifizierung von Möglichkeiten zur weiteren Verbesserung von Skalierbarkeit, Effizienz und Zuverlässigkeit.

Anforderungen:

• Abschluss in Informatik oder einem verwandten technischen Bereich; ein Doktortitel in NLP, maschinellem Lernen oder einer verwandten Disziplin ist besonders relevant, insbesondere mit einer starken KI-Forschungshistorie und Veröffentlichungen auf führenden Konferenzen.
• Nachgewiesene Expertise in Metal Shading Language (MSL), einschließlich der Fähigkeit, benutzerdefinierte Compute-Shader von Grund auf zu schreiben.
• Nachgewiesene Erfahrung mit niedrigstufiger Kernel-Optimierung und Inferenzoptimierung auf mobilen oder anderen ressourcenbeschränkten Geräten.
• Erfolgsbilanz bei der Bereitstellung messbarer Verbesserungen in Bezug auf Inferenzlatenz, Durchsatz und Speicherbedarf für domänenspezifische Anwendungen.
• Tiefes Verständnis moderner Modellbereitstellungsarchitekturen, Inferenzmaschinen und Optimierungstechniken für hochleistungsfähige KI-Bereitstellungen.
• Starke Erfahrung in der Programmierung von GPU-Kernen für mobile Geräte wie Smartphones.
• Praktische Erfahrung in der Entwicklung und Bereitstellung von End-to-End-Inferenzpipelines, von der Modelloptimierung bis zur Produktionsintegration auf eingeschränkter Hardware.
• Starke Fähigkeit, empirische Forschung und systematische Experimente anzuwenden, um Latenz-, Rechen- und Speicherherausforderungen zu lösen.
• Erfahrung in der Gestaltung robuster Evaluierungs- und Benchmarking-Frameworks für Inferenzsysteme.
• Kenntnisse über verteilte Inferenztechniken, einschließlich Tensorparallelismus, Pipelineparallelismus und Expertenparallelismus für großangelegte GPU-Cluster.
• Tiefes Verständnis der mathematischen Grundlagen und der Architektur von Diffusionsmodellen und Vision-Transformatoren.
• Vertrautheit mit modernen Inferenzoptimierungstechniken, einschließlich Pruning, Quantisierung, Flash Attention, KV Cache-Optimierung und spekulativer Dekodierung wie EAGLE.
• Starke analytische und problemlösende Fähigkeiten, mit der Fähigkeit, komplexe Systemengpässe zu untersuchen und Forschungsergebnisse in praktische technische Lösungen umzusetzen.
• Ausgezeichnete Englischkenntnisse und die Fähigkeit, effektiv mit verteilten, funktionsübergreifenden technischen Teams zusammenzuarbeiten.

Vorteile:

• Gelegenheit, an fortschrittlichen KI-Systemen zu arbeiten, die Modellbereitstellung, Inferenzoptimierung, mobile Computing, Edge-Bereitstellung und großangelegte verteilte Inferenz umfassen.
• Remote-first Arbeitsumgebung mit einem internationalen Team.
• Einblick in modernste KI-Forschung und praktische Herausforderungen der Systemtechnik.
• Gelegenheit, zu leistungsrelevanter Infrastruktur beizutragen, wo Verbesserungen messbare Auswirkungen auf reale KI-Anwendungen haben können.
• Kollaborative Umgebung, die forschungsgetriebenes Experimentieren mit praktischer Technik kombiniert.
• Gelegenheit, mit fortschrittlichen Modellarchitekturen zu arbeiten, einschließlich Diffusionsmodellen, Vision-Transformatoren und multimodalen Systemen.
• Zugang zu herausfordernden technischen Problemen, die GPU-Kerne, Inferenzmaschinen, Speicheroptimierung und verteiltes Computing betreffen.

Wir schätzen Ihr Interesse und wünschen Ihnen viel Erfolg!