LLM Inference Frameworks and Optimization Engineer

Über uns

Bei Together.ai entwickeln wir eine hochmoderne Infrastruktur, um effiziente und skalierbare Inferenz für große Sprachmodelle (LLMs) zu ermöglichen. Unsere Mission ist es, Inferenz-Frameworks, Algorithmen und Infrastruktur zu optimieren und die Grenzen von Leistung, Skalierbarkeit und Kosteneffizienz zu erweitern. Wir suchen einen Ingenieur für Inferenz-Frameworks und Optimierung, der verteilte Inferenz-Engines entwirft, entwickelt und optimiert, die multimodale und Sprachmodelle in großem Maßstab unterstützen. Diese Rolle konzentriert sich auf latenzarme, hochdurchsatzfähige Inferenz, GPU-/Beschleunigeroptimierungen und Software-Hardware-Co-Design, um eine effiziente großflächige Bereitstellung von LLMs und Vision-Modellen sicherzustellen.

Verantwortlichkeiten

• Entwicklung und Optimierung von Inferenz-Frameworks: Entwerfen und Entwickeln eines fehlertoleranten, hochkonkurrierenden verteilten Inferenz-Engines für Text-, Bild- und multimodale Generierungsmodelle. Implementieren und Optimieren von verteilten Inferenzstrategien, einschließlich Mixture of Experts (MoE) Parallelismus, Tensor-Parallelismus, Pipeline-Parallelismus für leistungsstarkes Serving. Anwenden von CUDA-Grafoptimierungen, TensorRT/TRT-LLM-Grafoptimierungen und PyTorch-basierter Kompilierung (torch.compile) sowie spekulativer Dekodierung zur Verbesserung der Effizienz und Skalierbarkeit.
• Software-Hardware-Co-Design und KI-Infrastruktur: Zusammenarbeit mit Hardware-Teams zur Analyse von Leistungsengpässen, Co-Optimierung der Inferenzleistung für GPUs, TPUs oder benutzerdefinierte Beschleuniger. Enge Zusammenarbeit mit KI-Forschern und Infrastruktur-Ingenieuren zur Entwicklung effizienter Modellausführungspläne und Optimierung von E2E-Modellserving-Pipelines.

Qualifikationen

• Must-Have:
• Erfahrung: 3+ Jahre Erfahrung in tiefen Lerninferenz-Frameworks, verteilten Systemen oder Hochleistungsrechnen.
• Technische Fähigkeiten: Vertraut mit mindestens einem LLM-Inferenz-Framework (z.B. TensorRT-LLM, vLLM, SGLang, TGI (Text Generation Inference)). Hintergrundwissen und Erfahrung in mindestens einem der folgenden Bereiche: GPU-Programmierung (CUDA/Triton/TensorRT), Compiler, Modellquantisierung und GPU-Cluster-Planung. Tiefes Verständnis von KV-Cache-Systemen wie Mooncake, PagedAttention oder benutzerdefinierten Inhouse-Varianten.
• Programmierung: Versiert in Python und C++/CUDA für hochleistungsfähige tiefen Lerninferenz.
• Optimierungstechniken: Tiefes Verständnis von Transformer-Architekturen und LLM/VLM/Diffusionsmodell-Optimierung. Kenntnisse über Inferenzoptimierung, wie Arbeitslastplanung, CUDA-Grafik, kompilierte, effiziente Kerne.
• Soziale Fähigkeiten: Starke analytische Problemlösungsfähigkeiten mit einer leistungsorientierten Denkweise. Ausgezeichnete Zusammenarbeit und Kommunikationsfähigkeiten über Teams hinweg.
• Nice-to-Have:
• Erfahrung in der Entwicklung von Softwaresystemen für große Rechenzentrumsnetzwerke mit RDMA/RoCE.
• Vertraut mit verteilten Dateisystemen (z.B. 3FS, HDFS, Ceph).
• Vertraut mit Open-Source-verteilten Planungs-/Orchestrierungs-Frameworks wie Kubernetes (K8S).
• Beiträge zu Open-Source-Projekten für tiefe Lerninferenz.

Warum Sie sich uns anschließen sollten?

Diese Rolle bietet eine einzigartige Gelegenheit, die Zukunft der LLM-Inferenzinfrastruktur zu gestalten und eine skalierbare, leistungsstarke KI-Bereitstellung über eine Vielzahl von Anwendungen hinweg sicherzustellen. Wenn Sie leidenschaftlich daran interessiert sind, die Grenzen der KI-Inferenz zu erweitern, würden wir uns freuen, von Ihnen zu hören!

Über Together AI

Together AI ist ein forschungsgetriebenes Unternehmen für künstliche Intelligenz. Wir glauben, dass offene und transparente KI-Systeme Innovationen vorantreiben und die besten Ergebnisse für die Gesellschaft schaffen werden. Gemeinsam haben wir die Mission, die Kosten moderner KI-Systeme erheblich zu senken, indem wir Software, Hardware, Algorithmen und Modelle gemeinsam entwerfen. Wir haben zu führenden Open-Source-Forschungen, Modellen und Datensätzen beigetragen, um die Grenzen der KI voranzutreiben, und unser Team war hinter technologischen Fortschritten wie FlashAttention, Hyena, FlexGen und RedPajama. Wir laden Sie ein, einer leidenschaftlichen Gruppe von Forschern auf unserer Reise beizutreten, die nächste Generation von KI-Infrastruktur aufzubauen.

Vergütung

Wir bieten wettbewerbsfähige Vergütung, Startup-Eigenkapital, Krankenversicherung und andere wettbewerbsfähige Vorteile. Die US-Grundgehaltsspanne für diese Vollzeitstelle liegt zwischen 160.000 und 230.000 USD + Eigenkapital + Leistungen. Unsere Gehaltsspannen werden durch Standort, Niveau und Rolle bestimmt. Die individuelle Vergütung wird durch Erfahrung, Fähigkeiten und berufsbezogenes Wissen festgelegt.

Gleichberechtigung

Together AI ist ein Arbeitgeber, der Chancengleichheit bietet, und ist stolz darauf, allen unabhängig von Rasse, Hautfarbe, Abstammung, Religion, Geschlecht, nationaler Herkunft, sexueller Orientierung, Alter, Staatsbürgerschaft, Familienstand, Behinderung, Geschlechtsidentität, Veteranenstatus und mehr gleiche Beschäftigungsmöglichkeiten zu bieten.