Senior Inference Optimization Engineer

Über unseren Kunden: Unser Kunde ist eine schnell wachsende Automatisierungsplattform, die cloud-native und KI-Infrastruktur in großem Maßstab betreibt. Durch die Einbettung autonomer Entscheidungsfindung direkt in Kubernetes- und Cloud-Umgebungen optimiert die Plattform kontinuierlich Leistung, Zuverlässigkeit und Effizienz in der Produktion und ersetzt Tickets, Warnmeldungen und manuelle Anpassungen durch kontinuierliche Automatisierung, die sich an veränderte Bedingungen anpasst. Das Unternehmen wird von über zweitausend Organisationen vertraut, darunter eine Reihe von weltweit anerkannten Unternehmen aus den Bereichen Technologie, Automobil, Medien und Finanzdienstleistungen. Es operiert als verteiltes, internationales Team, das mehr als dreißig Länder in Europa, Nordamerika, Lateinamerika und APAC umfasst. Das Unternehmen hat kürzlich den Status eines Einhorns erreicht, nachdem es eine strategische Investition von einem großen Unternehmensrisikokapitalgeber erhalten hat, mit einer Bewertung von über einer Milliarde Dollar und starkem Momentum für die nächste Wachstumsphase.

Über die Rolle: Durchsatz. Latenz. KV-Cache-Nutzung. Bewege diese drei Zahlen in die richtige Richtung, und zwei Dinge passieren. Die Kunden erhalten schnellere, kostengünstigere Inferenz, und die Margen unseres Kunden verbessern sich. Das ist die gesamte These dieser Rolle. Jeder Kernel, den du optimierst, jedes Quantisierungsverfahren, das du implementierst, und jede Scheduler-Anpassung, die du vornimmst, zeigt sich direkt im p99 eines Kunden und in der Gewinn- und Verlustrechnung. Dies ist ein hochwirksamer Platz und ein hochautonomer. Du wirst den Raum haben, die technische Richtung der Inferenzoptimierung zu leiten, anstatt jemandes Fahrplan auszuführen. Das Problem ist, dass das Ausführen von LLMs in der Produktion ein bewegliches Ziel ist. Das richtige Modell und die richtige Bereitstellungskonfiguration für eine Arbeitslast hängen von der Verkehrsform, der Sequenzlängenverteilung, den Batch-Dynamiken, dem GPU-SKU, der Speicherbandbreite, der Quantisierungstoleranz und einem Dutzend anderer Variablen ab, die sich wöchentlich ändern. Die meisten Teams wählen ein Modell einmal aus, überprovisionieren GPUs und absorbieren die Kosten. Das System unseres Kunden trifft diese Entscheidung automatisch und passt kontinuierlich Arbeitslasten an die kosteneffizientesten, leistungsstärksten LLM- und Bereitstellungskonfigurationen auf der Infrastruktur eines Kunden an. Das Team baut die Optimierungsschicht zwischen dem Modell und der Hardware und benötigt Ingenieure, die beide Seiten tief verstehen.

Technologiestack: Python; vLLM; SGLang; TensorRT-LLM; PyTorch; CUDA-nahe Werkzeuge; Kubernetes; gRPC; ClickHouse; PostgreSQL; GCP Pub/Sub; AWS, GCP und Azure; GitLab CI; ArgoCD; Prometheus; Grafana; Loki; Tempo.

Anforderungen:

• Fünf oder mehr Jahre Erfahrung im Aufbau realer ML-Systeme, mit einem Portfolio, das Tiefe in der Infrastruktur für Inferenz oder Training zeigt, nicht nur in Modelltrainingsnotizen.
• Starke Python-Kenntnisse, mit Erfahrung im Aufbau von Produktionsdiensten statt Skripten.
• Praktische Erfahrung mit mindestens einem der folgenden: vLLM, SGLang oder TensorRT-LLM, und ein funktionierendes mentales Modell, warum eine Inferenzmaschine auf einer bestimmten GPU so funktioniert, wie sie es tut.
• Fließend in Quantisierungsabwägungen. Du hast Qualitätsregressionen gemessen, nicht nur Kompressionsverhältnisse.
• Komfort mit verteilten Systemen, einschließlich kollektiver Kommunikation, Sharding-Strategien und den praktischen Fehlermodi von Multi-GPU- und Multi-Node-Setups.
• Eine Neigung zur Messung. Du instrumentierst, bevor du optimierst, und kannst den Unterschied zwischen einem echten Gewinn und einem Benchmark-Artefakt erkennen.
• Selbstständigkeit. Diese Rolle kommt mit einem breiten Mandat, und du solltest darüber begeistert sein, anstatt unruhig.

Verantwortlichkeiten:

• Durchsatz erhöhen. Kontinuierliches Batching, spekulative Dekodierung, chunked prefill und Kernel-Level-Tuning über vLLM, SGLang und TensorRT-LLM.
• Latenz reduzieren. TTFT und TPOT separat angreifen. Profilieren, den tatsächlichen Engpass identifizieren, sei es Berechnung, Speicherbandbreite, Planung oder Netzwerk, und ihn beheben, anstatt den Engpass, den du angenommen hast.
• Mehr aus dem KV-Cache herausholen. Paged Attention, Prefix-Caching, Evakuierungsrichtlinien, Cache-Wiederverwendung über Anfragen hinweg und quantisierter KV. Hier lebt viel des unrealisierten Durchsatzes, und dies ist ein Bereich, den du besitzen wirst.
• Quantisieren, ohne die Qualität zu verschlechtern. INT8, INT4 und FP8 über Gewichte, Aktivierungen und KV. Empirische Arbeiten, die die Qualität bei realen Arbeitslasten messen, nicht nur Perplexitätsbenchmarks.
• Kalte Starts und Speicherbedarf reduzieren. Schnellere Initialisierung, intelligenteres Laden von Gewichten und engere Speicherabrechnung, was den Unterschied zwischen einem skalierbaren Modell und einem nicht skalierbaren ausmacht.
• Über Nodes skalieren. Verteilte Inferenztopologien, netzwerkbewusste Platzierung und Checkpointing-Strategien, die nicht an Speicher oder Interkonnekt flaschenhalsen.
• Die technische Richtung festlegen. Entscheide, was zu benchmarken, was zu übernehmen und was intern zu entwickeln ist. Bringe das Team mit starken Berichten und reproduzierbaren Experimenten mit.