Senior Staff LLM Inference Engineer

Bei d-Matrix konzentrieren wir uns darauf, das Potenzial von generativer KI zu entfalten, um die Transformation der Technologie voranzutreiben. Wir stehen an der Spitze der Software- und Hardware-Innovation und erweitern die Grenzen des Möglichen. Unsere Kultur basiert auf Respekt und Zusammenarbeit. Wir schätzen Demut und glauben an direkte Kommunikation. Unser Team ist inklusiv, und unsere unterschiedlichen Perspektiven ermöglichen bessere Lösungen. Wir suchen Personen, die leidenschaftlich daran interessiert sind, Herausforderungen anzugehen und von der Ausführung getrieben werden.

Die D-Matrix Frontier Group befindet sich an der Spitze dessen, was mit LLM-Inferenz auf heterogener Hardware möglich ist. Unser Auftrag umfasst den gesamten Stack: von der Erschließung neuer Anwendungsfälle und neuartiger Bereitstellungsmuster bis hin zur tiefen Optimierung von Inferenzkernen und dem Aufbau von Prototyp-Systemen, die das einzigartige Rechenmodell von D-Matrix demonstrieren. Wir sind ein angewandtes Forschungs- und Ingenieurteam, das schnell arbeitet, reale Systeme bereitstellt und direkt mit Produkt- und Hardwareteams zusammenarbeitet, um die Roadmap zu gestalten. Wir entwickeln die Werkzeuge, Laufzeiten und Frameworks, die es ermöglichen, dass moderne KI-Modelle effizient und kostengünstig über heterogene Bereitstellungen hinweg laufen.

Diese Rolle

Wir stellen End-to-End-Inferenzingenieure ein, die sich wohlfühlen, von einer neuartigen Forschungsidee zu einem bereitgestellten, optimierten System zu gelangen. Sie werden auf jeder Ebene des Inferenzstacks arbeiten, von der Optimierung auf Kernel-Ebene bis hin zur verteilten Orchestrierung und hochrangigen Serving-APIs. Diese Rolle könnte gut zu Ihnen passen, wenn Sie:

• Ein tiefes Verständnis für moderne Architekturen der generativen KI haben und wissen, wie man die Leistung zur Inferenzzeit maximiert.
• Mit den internen Abläufen von Open-Source-Inferenz-Frameworks (vLLM, SGLang, TensorRT-LLM usw.) vertraut sind und diese bei Bedarf erweitern oder ersetzen können.
• Neue Anwendungsfälle erkunden und frühe POCs entwickeln möchten, die neue Ideen beweisen.
• Ergebnisorientiert sind und eine starke Handlungsorientierung haben; Sie übernehmen Probleme von der Prototypenentwicklung bis zur Optimierung und Übergabe.
• Begeistert sind, an der Schnittstelle zwischen neuartiger Hardware und modernen Modellen zu arbeiten und möchten, dass Ihre Arbeit direkten Einfluss darauf hat, wie die nächste Generation von KI-Silizium genutzt wird.
• Klare Kommunikation schätzen und in einem kleinen, hochverantwortlichen Teamumfeld gedeihen.

Verantwortlichkeiten

• Identifizieren und Prototypisieren neuer LLM-Inferenzanwendungsfälle, die für heterogene Hardware-Bereitstellungen geeignet sind.
• Überzeugende Prototyp-Systeme entwickeln, die die Fähigkeiten von D-Matrix gegenüber Kunden, Partnern und internen Stakeholdern demonstrieren.
• Benutzerdefinierte Kerne und Optimierungen auf Operator-Ebene entwickeln und abstimmen, um den Durchsatz zu maximieren und die Latenz zu minimieren.
• Strategien zur Quantisierung, Sparsamkeit und Batch-Verarbeitung entwickeln, die auf das D-Matrix-Rechenmodell zugeschnitten sind.
• Inferenzlaufzeiten, Serving-Frameworks und Evaluierungswerkzeuge aufbauen und pflegen.
• Zu verteilten Inferenzsystemen beitragen: Tensor-/Pipeline-Parallelismus, disaggregierte Vorbefüllung/Dekodierung, KV-Cache-Management.
• Eng mit Hardwarearchitekten zusammenarbeiten, um Firmware- und Compiler-Teams umsetzbare Einblicke in Inferenzarbeitslasten zu geben.
• Mit Produkt- und Geschäftsentwicklung zusammenarbeiten, um POCs in kundenorientierte Demonstrationen zu übersetzen.
• Zu technischen Veröffentlichungen, Whitepapers und Open-Source-Projekten beitragen, die die Sichtbarkeit von D-Matrix fördern.

Erforderliche Qualifikationen

• Abschluss in Informatik, Elektrotechnik oder einem verwandten Bereich und mehr als 10 Jahre relevante Ingenieurerfahrung oder gleichwertige nachgewiesene Erfahrung.
• Master- oder Doktortitel in Informatik, Elektrotechnik oder einem verwandten Bereich bevorzugt, mit mehr als 6 Jahren relevanter Branchenerfahrung.
• Starke Kenntnisse in Python und C/C++.
• Praktische Erfahrung in der Optimierung von LLM-Inferenz – Aufmerksamkeitskerne, KV-Cache, Batch-Strategien, Quantisierung (INT8/FP8/INT4).
• Erfahrung mit mindestens einem großen Inferenz-Framework (vLLM, SGLang, TensorRT-LLM, ONNX Runtime oder ähnlich) auf Beitragsniveau.
• Vertrautheit mit GPU-Kernel-Programmierung (CUDA/Triton) und Performance-Profiling-Tools.

Bevorzugte Qualifikationen

• Erfahrung mit heterogenen Compute-Bereitstellungen – Planung von Inferenzarbeitslasten über unterschiedliche Hardware (Beschleuniger, CPUs, GPUs).
• Vertrautheit mit benutzerdefiniertem Silizium oder ASIC-basierter Inferenz (über GPU-only Umgebungen hinaus).
• Erfahrung mit verteilter Inferenz: Tensor-Parallelismus, Pipeline-Parallelismus, disaggregiertes Serving.
• Beiträge zu Open-Source-Inferenz- oder ML-Systemprojekten.
• Erfahrung mit der Bereitstellung von Produktionsinferenz in großem Maßstab (Latenz-SLOs, kontinuierliches Batching, Multi-Modell-Serving).
• Vertrautheit mit spekulativer Dekodierung, Mixture-of-Experts-Routing oder Techniken zum Long-Context-Serving.
• Arbeitserfahrung mit dem Material im JAX Scaling Book oder gleichwertigem systemtechnischen Verständnis des modernen LLM-Trainings und der Inferenz.

Warum D-Matrix Frontier Group

• Arbeiten Sie an wirklich neuartiger Hardware: Die D-Matrix-In-Memory-Compute-Architektur eröffnet Inferenzoptimierungsprobleme, die es sonst nirgendwo gibt.
• End-to-End-Verantwortung von der Idee bis zum bereitgestellten System, mit einem kurzen Feedback-Zyklus zwischen Ihrer Arbeit und der realen Hardware.
• Kleines, erfahrenes Team mit hoher Autonomie und direktem Einfluss auf die Produktentwicklung.
• Wettbewerbsfähige Vergütung, Aktien und Sozialleistungen in Santa Clara, CA.

Gleichstellung der Chancen

d-Matrix ist stolz darauf, ein Arbeitsplatz mit gleichen Chancen und ein Arbeitgeber für positive Maßnahmen zu sein. Wir setzen uns dafür ein, ein integratives Umfeld zu fördern, in dem sich jeder willkommen und befähigt fühlt, seine beste Arbeit zu leisten. Wir stellen die besten Talente für unsere Teams ein, unabhängig von Rasse, Religion, Hautfarbe, Alter, Behinderung, Geschlecht, Geschlechtsidentität, sexueller Orientierung, Abstammung, genetischen Informationen, Familienstand, nationaler Herkunft, politischer Zugehörigkeit oder Veteranenstatus. Unser Fokus liegt darauf, Teamkollegen mit bescheidener Expertise, Freundlichkeit, Engagement und der Bereitschaft einzustellen, Herausforderungen anzunehmen und jeden Tag gemeinsam zu lernen.