Senior Software Engineer — ML Inference & Numerics in München

Über Tensordyne: AI transformiert unsere Welt. Es kann kognitive Funktionen ausführen, die zuvor nur Menschen möglich waren, wie das Wahrnehmen von Interaktionen über verschiedene Modalitäten und Umgebungen hinweg - mit der Fähigkeit, schnell zu lernen und komplexe Probleme zu lösen. Tensordyne ist ein Unternehmen für KI-Systemlösungen, das sehr leistungsstarke, energieeffiziente generative KI-Inferenzsysteme entwickelt. Unsere Mission ist es, durch die Schaffung von maßgeschneidertem Silizium, Hardware und Software die multimodale Generative AI-Inferenzbeschleunigung in großem Maßstab zu ermöglichen, mit sicheren, nachhaltigen, leistungsstarken Systemen für unsere Hyperscaler- und Neocloud-Datenzentrumskunden.

Wir sind an der Spitze der neuesten Forschung und Produktverbesserungen für generative KI-Inferenzlösungen, die KI noch vorteilhafter für neue generative KI-Anwendungen machen werden. Tensordyne ist ein gut finanziertes, schnelllebiges Startup-Unternehmen mit Hauptsitzen in Sunnyvale, Kalifornien, und München, Deutschland. Wir haben auch viele talentierte Teammitglieder, die remote in Nordamerika und Europa arbeiten. Wir kümmern uns um unsere Mitarbeiter und deren Familien mit umfassenden Leistungen, wettbewerbsfähiger Vergütung, flexiblen Ausgabenoptionen und Anerkennungsprogrammen, denn der Aufbau von technologie-definierenden Lösungen beginnt mit einem gesunden, unterstützten Team. Kommen Sie zu uns, während wir die Zukunft der multimodalen generativen künstlichen Intelligenz gestalten!

Die Rolle: Helfen Sie dabei, die neuesten KI-Modelle auf unserem Silizium gut laufen zu lassen. Sie arbeiten vom Modellcode bis zur gemessenen Hardwareleistung: bringen neue Architekturen zum Laufen, verfolgen Genauigkeitsfehler und verbessern Latenz, Durchsatz und Speicherverbrauch. Die größere Herausforderung besteht darin, diese Arbeit wiederholbar zu machen. Sie bauen ein agentisches System, das Implementierungen erkunden, Experimente durchführen, Ergebnisse überprüfen und die nächste Änderung anleiten kann. Jede Untersuchung sollte bessere Software, bessere Tests und einen kürzeren Weg für das nächste Modell hinterlassen.

Was Sie tun werden:

• Agentische Workflows aufbauen.
• Agenten die Werkzeuge geben, um Modelle zu inspizieren, Implementierungen und numerische Einstellungen zu ändern, Emulations- und Hardwareexperimente durchzuführen und Fehler zu diagnostizieren.
• Das Feedback und die Bewertung aufbauen, die die Ergebnisse vertrauenswürdig machen.
• Neue Modelle schnell zum Laufen bringen.
• Mit Ingenieuren über den gesamten Stack zusammenarbeiten, um unbekannte Architekturen von Referenzcode zu validierter, leistungsfähiger Ausführung auf unserem Beschleuniger zu bringen.
• Das, was Sie lernen, in wiederverwendbare Modellsupport- und SDK-Verbesserungen umsetzen.
• Numerik optimieren.
• Präzision, Akkumulation und Quantisierungsentscheidungen im gesamten Modell erkunden.
• Verstehen, wie sie mit Kernen, KV-Caches, Speicher und verteilter Ausführung interagieren, und dann die Gewinne in Latenz, Durchsatz und Speicherverbrauch im Vergleich zur Modellqualität auf Silizium messen.
• Numerische Qualität messbar machen.
• Konvertierungs- und Emulationssoftware erstellen, mit der Sie numerische Entscheidungen schnell testen können.
• Aktivierungen und Ausgaben mit Referenzmodellen vergleichen, Genauigkeitsregressionen zurückverfolgen und Änderungen mit End-to-End-Modellbewertungen validieren.
• Software liefern, die Bestand hat.
• Design, Implementierung, Test und Lieferung übernehmen.
• Klare APIs erstellen, die einfach für Agenten zu verwenden sind.
• Schwierige Fehler reproduzierbar machen und verhindern, dass sie zurückkehren.
• Wissen, wann man schnell bauen und wann man gründlich bauen sollte.
• Den nächsten Chip gestalten.
• Mit Hardwarearchitekten zusammenarbeiten, um zu testen, wie numerische Formate und arithmetische Entscheidungen reale Modelle beeinflussen.
• Diese Erkenntnisse in bessere Hardware- und Algorithmusdesigns umsetzen.

Was wir von Ihnen benötigen:

• Sie verstehen LLM-Inferenz von Anfang bis Ende.
• Sie können die Implementierung eines neuen Modells lesen und über Prefill, Dekodierung, Aufmerksamkeit, KV-Caches, MoE, Batching und Parallelität nachdenken.
• Sie verstehen, wie sich dies in Berechnung, Speicher und Kommunikation auf einem Beschleuniger übersetzt.
• Sie bauen hervorragende Software.
• Sie haben bedeutende Systeme besessen und komplexe Funktionen vom Design bis zur Produktion geliefert.
• Sie sind stark in Python, nachdenklich über Schnittstellen und rigoros in Bezug auf Abstraktionen und Tests.
• Sie sind vertraut mit agentischen Werkzeugen.
• Sie würden lieber den Agenten bauen, der die Optimierung durchführt, als es von Hand zu tun; und die Ausführung zahlreicher Agenten parallel begeistert Sie.
• Sie wissen, was erforderlich ist, damit Agenten in einer großen Softwareorganisation effektiv arbeiten können, und Sie haben das Urteilsvermögen, wenn eine agentische Schleife immer noch einen Menschen benötigt.
• Sie übernehmen Verantwortung und bringen andere mit.
• Sie bilden klare Hypothesen, testen sie und treiben Probleme über Softwaregrenzen hinweg zur Lösung.
• Sie kommunizieren klar durch Spezifikationen, Entwurfsdokumente und Überprüfungen, auf die Menschen und Agenten reagieren können.
• Sie erklären komplexe Abwägungen, geben direktes Feedback und machen die Menschen um Sie herum besser.

Wenn Sie einige dieser Punkte erfüllen, würden wir uns freuen, von Ihnen zu hören. Wir wären begeistert, wenn Sie Erfahrung in der Verbesserung von Inferenzsystemen wie Debugging und Optimierung der Laufzeit komplexer Modelle sowie im Nachdenken über Genauigkeits-Leistungs-Abwägungen haben. Erfahrung mit ML-Compilern, Accelerator-SDKs oder Modellkomprimierungsbibliotheken, insbesondere für nicht-NVIDIA-Beschleuniger wie TPU, Trainium/Inferentia, Tenstorrent, Groq oder Cerebras. Erfahrung mit Modellquantisierung, Sparsamkeit, Codebüchern, Niedrig-Rang-Faktorisierung oder anderen Kompressionstechniken. Beiträge zu verteilten Inferenz- oder Bereitstellungsrahmen wie vLLM oder SGLang.

Warum Sie sich uns anschließen sollten: Ihr Code wird bestimmen, wie schnell wir neue Modelle unterstützen, wie effizient sie laufen und was wir in unseren nächsten Chip einbauen. Sie werden bedeutende Software besitzen, direkt mit den Menschen arbeiten, die die Hardware entwerfen, und Ihre Entscheidungen auf echtem Silizium getestet sehen. Wenn Sie die Werkzeuge bauen, die schwierigen Fehler lösen und helfen möchten, die technische Richtung einer neuen Inferenzplattform festzulegen, würden wir gerne von Ihnen hören.

Tensordynes Kultur basiert auf den folgenden Werten:

• Menschen zuerst. Wir haben nur Erfolg, wenn unsere Menschen erfolgreich sind.
• Ethik und Integrität immer. Seien Sie offen, ehrlich und respektvoll gegenüber allen.
• Groß denken. Seien Sie ehrgeizig und haben Sie gewagte Ziele.
• Exzellenz anstreben. Qualität und Exzellenz zählen in allem, was wir tun.
• Es in die Hand nehmen und es erledigen. Ergebnisse zählen!
• Jede Person gemeinsam besser machen, als sie es als Individuum wäre.
• Die Unterschiede des anderen annehmen und akzeptieren, dass es Unterschiede geben wird.

Tensordyne ist ein Arbeitgeber, der Chancengleichheit bietet. Wir glauben, dass vielfältige Teams besser in der Lage sind, komplexe Probleme zu lösen und außergewöhnliche Technologie zu entwickeln. Alle qualifizierten Bewerber erhalten unabhängig von Alter, Hautfarbe, Geschlechtsidentität oder -ausdruck, Familienstand, nationaler Herkunft, Behinderung, geschütztem Veteranenstatus, Rasse, Religion, Schwangerschaft, sexueller Orientierung oder einer anderen durch geltende Gesetze, Vorschriften und Verordnungen geschützten Eigenschaft Berücksichtigung für eine Anstellung.

Eine Notiz an Personalvermittlungsagenturen: Bitte kontaktieren Sie keine Mitarbeiter oder Führungskräfte von Tensordyne bezüglich dieser Rolle. Wir akzeptieren keine unaufgeforderten Lebensläufe von Agenturen und sind nicht verantwortlich für Gebühren, die mit unaufgeforderten Einsendungen verbunden sind.