Working Student - LLM Quantization & Inference Performance in München

Über Tensordyne (ehemals Recogni) AI transformiert unsere Welt. Es kann kognitive Funktionen ausführen, die zuvor nur Menschen möglich waren, wie das Wahrnehmen von Interaktionen über verschiedene Modalitäten und Umgebungen hinweg - mit der Fähigkeit, schnell zu lernen und komplexe Probleme zu lösen. Tensordyne ist ein Unternehmen für KI-Systemlösungen, das sehr leistungsstarke, energieeffiziente generative KI-Inferenzsysteme entwickelt. Unsere Mission ist es, durch die Schaffung von maßgeschneidertem Silizium, Hardware und Software die multimodale Generative AI-Inferenzbeschleunigung in großem Maßstab zu ermöglichen, mit sicheren, nachhaltigen, leistungsstarken Systemen für unsere Hyperscaler- und Neocloud-Datenzentrumskunden.

Wir sind an der Spitze der neuesten Forschung und Produktverbesserungen für generative KI-Inferenzlösungen, die KI noch vorteilhafter für neue, überzeugende generative KI-Anwendungen machen werden. Tensordyne ist ein gut finanziertes, schnelllebiges Start-up-Unternehmen mit Hauptsitzen in Sunnyvale, Kalifornien, und München, Deutschland. Wir haben auch viele talentierte Teammitglieder, die remote in Nordamerika und Europa arbeiten. Wir kümmern uns um unsere Mitarbeiter und deren Familien mit umfassenden Leistungen, wettbewerbsfähiger Vergütung, flexiblen Ausgabenoptionen und Anerkennungsprogrammen, denn der Aufbau von technologie-definierenden Lösungen beginnt mit einem gesunden, unterstützten Team. Kommen Sie zu uns, während wir die Zukunft der multimodalen generativen künstlichen Intelligenz gestalten!

Rollenübersicht: Wie viel numerische Präzision benötigt ein LLM, und wo in der Modellarchitektur ist sie am wichtigsten? Wann verbessert Quantisierung die Laufzeit, und was kostet sie in Bezug auf die Modellqualität? Wir suchen einen motivierten Werkstudenten, der hilft, diese Fragen in Experimente und Experimente in wartbaren Code umzuwandeln. Sie werden Optimierungsmethoden erkunden und wiederverwendbare Evaluierungstools entwickeln. Sie arbeiten eng mit unseren Ingenieuren für Quantisierung, Compiler und Laufzeit zusammen, und Ihre Erkenntnisse werden direkt beeinflussen, wie wir Modelle für die Tensordyne-Hardware optimieren.

Was Sie tun werden:

• Modellqualitätsbewertung: Messen, wie sich die Berechnung mit niedriger Präzision auf die Leistung bei Codierungs- und Denkbenchmarks auswirkt. Diagnostizieren, wo die Quantisierung den größten Einfluss hat.
• Quantisierungsforschung: Implementieren und Vergleichen von Methoden zur Nachschulung von Quantisierung, um die Inferenzeffizienz zu verbessern und gleichzeitig die Aufgabenakkuratheit zu bewahren.
• Reproduzierbare Tools erstellen: Automatisieren von Bewertungen, Verfolgen von Konfigurationen und Ergebnissen sowie Zugänglichmachen von Experimenten für Ingenieure und KI-Agenten.
• Messung der Laufzeitleistung: Charakterisieren von Latenz, Durchsatz und Speicherverbrauch, um Engpässe unter verschiedenen Bereitstellungsszenarien zu verstehen.

Ein erstes Projekt könnte darin bestehen, die Qualität-Leistungs-Pareto-Front eines Qwen- oder LlaMa-Modells zu erkunden. Sie werden mit 16-Bit-, 8-Bit- und 4-Bit-Quantisierungskonfigurationen experimentieren, um den besten Laufzeit-Qualitäts-Kompromiss zu finden.

Kernqualifikationen:

• Aktuelle Immatrikulation in Informatik, Mathematik, Elektrotechnik, Maschinelles Lernen oder einem verwandten Masterstudiengang.
• Starke Python- und PyTorch-Kenntnisse, einschließlich der Fähigkeit, Modellimplementierungen zu verstehen und zu ändern.
• Effektive Nutzung von KI-Coding-Tools und kritische Überprüfung ihrer Ergebnisse.
• Eine experimentelle Denkweise: Sie können Hypothesen formulieren, Vergleiche entwerfen und sorgfältige Schlussfolgerungen aus ungenauen Ergebnissen ziehen.
• Klare Kommunikation und die Fähigkeit, experimentelle Ergebnisse und technische Kompromisse dem Team zu präsentieren.

Starke Pluspunkte: Erfahrung mit Quantisierung, LLM-Bewertung, Leistungsprofilierung oder Inferenzoptimierung. Diese Rolle ist für Sie geeignet, wenn Sie Verantwortung übernehmen, schnell lernen und von Natur aus proaktiv sind.

Was wir bieten:

• Schließen Sie sich einem Deep-Tech-Team an, das die nächste Generation von KI-Inferenzsystemen aufbaut.
• Setzen Sie Ihr universitäres Wissen in die Praxis um, vertiefen Sie Ihr Verständnis von Quantisierung und Inferenzoptimierung und entwickeln Sie Fähigkeiten in experimentellem Design, Softwareengineering und KI-Coding-Tools.
• Sie werden ein fokussiertes Projekt leiten, enge Mentorship von erfahrenen Ingenieuren erhalten und Raum haben, Ideen zu erkunden, die unsere Optimierungsmethoden prägen.

Tensordynes Kultur basiert auf den folgenden Werten:

• Menschen zuerst. Wir haben nur dann Erfolg, wenn unsere Mitarbeiter erfolgreich sind.
• Ethik und Integrität immer. Seien Sie offen, ehrlich und respektvoll gegenüber allen.
• Groß denken. Seien Sie ehrgeizig und haben Sie gewagte Ziele.
• Streben nach Exzellenz. Qualität und Exzellenz zählen in allem, was wir tun.
• Besitzen Sie es und bringen Sie es zu Ende. Ergebnisse zählen!
• Machen Sie jede Person zusammen besser, als sie es als Individuum wäre. Umarmen Sie die Unterschiede des anderen und akzeptieren Sie, dass es Unterschiede geben wird.

Tensordyne ist ein Arbeitgeber, der Chancengleichheit bietet. Wir glauben, dass vielfältige Teams besser in der Lage sind, komplexe Probleme zu lösen und außergewöhnliche Technologie zu entwickeln. Alle qualifizierten Bewerber werden unabhängig von Alter, Hautfarbe, Geschlechtsidentität oder -ausdruck, Familienstand, nationaler Herkunft, Behinderung, geschütztem Veteranenstatus, Rasse, Religion, Schwangerschaft, sexueller Orientierung oder einer anderen durch geltende Gesetze, Vorschriften und Verordnungen geschützten Eigenschaft berücksichtigt.

Eine Notiz an Personalvermittlungsagenturen: Bitte kontaktieren Sie keine Mitarbeiter oder Führungskräfte von Tensordyne bezüglich dieser Rolle. Wir akzeptieren keine unaufgeforderten Lebensläufe von Agenturen und sind nicht verantwortlich für Gebühren im Zusammenhang mit unaufgeforderten Einsendungen.