Working Student - LLM Inference Performance in München

Über Tensordyne

AI transformiert unsere Welt. Es kann kognitive Funktionen ausführen, die zuvor nur Menschen möglich waren, wie das Wahrnehmen von Interaktionen über verschiedene Modalitäten und Umgebungen hinweg - mit der Fähigkeit, schnell zu lernen und komplexe Probleme zu lösen. Tensordyne ist ein Unternehmen für KI-Systemlösungen, das sehr leistungsstarke, energieeffiziente generative KI-Inferenzsysteme entwickelt. Unsere Mission ist es, durch die Schaffung von maßgeschneidertem Silizium, Hardware und Software die multimodale Generative AI-Inferenzbeschleunigung in großem Maßstab zu ermöglichen, mit sicheren, nachhaltigen, leistungsstarken Systemen für unsere Hyperscaler- und Neocloud-Datenzentrumskunden.

Wir befinden uns an der Spitze der neuesten Forschung und Produktverbesserungen für generative KI-Inferenzlösungen, die KI noch vorteilhafter für neue, überzeugende generative KI-Anwendungen machen werden. Tensordyne ist ein gut finanziertes, schnelllebiges Start-up-Unternehmen mit Hauptsitzen in Sunnyvale, Kalifornien, und München, Deutschland. Wir haben auch viele talentierte Teammitglieder, die remote in Nordamerika und Europa arbeiten. Wir kümmern uns um unsere Mitarbeiter und deren Familien mit umfassenden Leistungen, wettbewerbsfähiger Vergütung, flexiblen Ausgabenoptionen und Anerkennungsprogrammen, denn der Aufbau von technologie-definierenden Kategorien beginnt mit einem gesunden, unterstützten Team. Kommen Sie zu uns, während wir die Zukunft der multimodalen generativen künstlichen Intelligenz gestalten!

Über die Rolle

Wie schnell sollte ein LLM-Baustein auf unserer Hardware laufen? Wie schnell läuft er tatsächlich und was könnte ihn schneller machen? Als Werkstudent im Bereich LLM Inference Performance helfen Sie, diese Fragen zu beantworten, indem Sie direkt mit unseren Hardware- und Software-Engineering-Teams zusammenarbeiten. Sie werden Low-Level-Kernels schreiben und optimieren, die Leistung auf echtem Silizium benchmarken und Profiling-Tools entwickeln, die Ingenieuren helfen, die LLM-Inferenzleistung zu verstehen und zu verbessern. Sie sammeln praktische Erfahrungen mit unserem Rust-Programmierstack und Python SDK, nutzen KI-Coding-Agenten als Teil Ihres Entwicklungsworkflows und arbeiten eng mit Ingenieuren zusammen, die an Compilern, Laufzeiten und Kernel-Optimierung arbeiten. Dies ist eine Gelegenheit, Ihr akademisches Wissen auf reale Herausforderungen der KI-Hardware anzuwenden, während Sie Verantwortung für bedeutende technische Projekte übernehmen.

Was Sie tun werden

• Verstehen Sie unsere Hardware: Lernen Sie, wie Tensordyne-Silizium Daten verarbeitet, Speicher verwaltet und Operationen synchronisiert, sowie wie wichtige LLM-Komponenten wie Attention, MLP und Mixture-of-Experts (MoE) Routing auf die Architektur abgebildet werden.
• Entwickeln und optimieren Sie Kernels: Implementieren, testen und optimieren Sie Low-Level-Kernels, um die Leistung von LLM-Inferenz-Workloads zu verbessern.
• Analysieren Sie die Leistung: Erstellen Sie analytische und Roofline-Leistungsmodelle, vergleichen Sie Vorhersagen mit Simulator- und realen Siliziummessungen und untersuchen Sie Leistungsengpässe.
• Erstellen Sie Benchmarking- und Profiling-Tools: Entwickeln Sie Benchmark-Harnesse, Profiling-Skripte und Trace-Visualisierungen, die die Leistung einfacher messbar, verständlich und verbesserbar machen.
• Arbeiten Sie mit KI-Coding-Agenten: Erkunden Sie Workflows, in denen KI-Agenten bei der Entwicklung, Optimierung und Benchmarking von Kernels unterstützen, und identifizieren Sie die Werkzeuge und Kontexte, die sie benötigen, um effektiv zu arbeiten.
• Zusammenarbeit über Engineering-Teams hinweg: Arbeiten Sie eng mit Compiler-, Runtime- und Kernel-Ingenieuren zusammen, um Leistungsinsights in praktische Verbesserungen zu übersetzen.

Beispielprojekt: Entwickeln Sie eine Benchmarking- und Profiling-Harnesse für einen LLM-Baustein, wie z.B. Decode Attention, auf zwei Abstraktionsebenen. Vergleichen Sie die gemessene Leistung mit theoretischen Schätzungen und machen Sie die Werkzeuge für KI-Coding-Agenten zugänglich.

Was wir suchen

• Derzeit eingeschrieben in ein Masterstudium in Informatik, Elektrotechnik, Mathematik oder einem verwandten technischen Bereich.
• Starke Programmierkenntnisse in Python und mindestens einer der Sprachen C, C++ oder Rust.
• Verständnis von Computerarchitektur, Speichersystemen, Bandbreite und paralleler Verarbeitung durch akademische Lehrveranstaltungen oder persönliche Projekte.
• Interesse an Low-Level-Programmierung, Hardwareleistung und Optimierung.
• Praktische Erfahrung mit KI-Coding-Agenten in Entwicklungsworkflows, mit der Fähigkeit, deren Output zu bewerten und zu verbessern.
• Eine experimentelle Denkweise, mit der Fähigkeit, Hypothesen zu bilden, Messungen zu analysieren und technische Ergebnisse klar zu kommunizieren.
• Neugier, Initiative und Begeisterung für das Lernen neuer Technologien.

Schön zu haben

• Erfahrung in einem oder mehreren der folgenden Bereiche wäre von Vorteil:
• GPU- oder KI-Beschleunigerprogrammierung.
• Embedded Systems oder Bare-Metal-Programmierung.
• Leistungsprofilierung, Benchmarking oder Optimierung.
• Grundlagen und Architekturen der LLM-Inferenz.

Warum Tensordyne beitreten?

• Arbeiten Sie an modernster KI-Technologie: Tragen Sie zur Entwicklung von KI-Inferenzhardware und -software der nächsten Generation bei.
• Sammeln Sie praktische Erfahrungen: Wenden Sie Ihr Universitätswissen auf echtes Silizium und herausfordernde Ingenieurprobleme an.
• Übernehmen Sie bedeutende Projekte: Entwickeln Sie Werkzeuge und Lösungen, die unsere Ingenieurteams direkt unterstützen.
• Lernen Sie von erfahrenen Ingenieuren: Arbeiten Sie neben Spezialisten für Hardwarearchitektur, Compiler, Laufzeiten und Leistungsoptimierung.
• Erforschen Sie KI-unterstützte Entwicklung: Sammeln Sie praktische Erfahrungen beim Bauen mit KI-Coding-Agenten und gestalten Sie, wie sie mit fortschrittlichen Hardwaresystemen interagieren.
• Hinterlassen Sie einen bleibenden Eindruck: Helfen Sie, Leistungstools und Workflows zu entwickeln, die sowohl die aktuellen als auch die zukünftigen Generationen der Tensordyne-Technologie unterstützen.

Tensordynes Kultur basiert auf den folgenden Werten:

• Menschen zuerst. Wir haben nur dann Erfolg, wenn unsere Mitarbeiter erfolgreich sind.
• Ethik und Integrität immer. Seien Sie offen, ehrlich und respektvoll gegenüber allen.
• Denken Sie groß. Seien Sie ehrgeizig und haben Sie gewagte Ziele.
• Streben Sie nach Exzellenz. Qualität und Exzellenz zählen in allem, was wir tun.
• Übernehmen Sie Verantwortung und bringen Sie es zu Ende. Ergebnisse zählen!
• Machen Sie jeden Menschen zusammen besser, als sie es als Individuen wären. Umarmen Sie die Unterschiede des anderen und akzeptieren Sie, dass es Unterschiede geben wird.

Tensordyne ist ein Arbeitgeber, der Chancengleichheit bietet. Wir glauben, dass vielfältige Teams besser in der Lage sind, komplexe Probleme zu lösen und außergewöhnliche Technologie zu entwickeln. Alle qualifizierten Bewerber werden unabhängig von Alter, Hautfarbe, Geschlechtsidentität oder -ausdruck, Familienstand, nationaler Herkunft, Behinderung, geschütztem Veteranenstatus, Rasse, Religion, Schwangerschaft, sexueller Orientierung oder einer anderen durch geltende Gesetze, Vorschriften und Verordnungen geschützten Eigenschaft berücksichtigt.

Eine Notiz an Personalvermittlungsagenturen: Bitte kontaktieren Sie keine Mitarbeiter oder Führungskräfte von Tensordyne bezüglich dieser Rolle. Wir akzeptieren keine unaufgeforderten Lebensläufe von Agenturen und sind nicht verantwortlich für Gebühren, die mit unaufgeforderten Einsendungen verbunden sind.