Staff Software Engineer: AI Inference Data Plane

Tauchen Sie ein und leisten Sie die beste Arbeit Ihrer Karriere bei DigitalOcean. Begleiten Sie eine starke Gemeinschaft von Top-Talenten, die unermüdlich daran arbeiten, die einfachste skalierbare Cloud zu schaffen. Wenn Sie eine Wachstumsmentalität haben, gerne groß und mutig denken und von der schnelllebigen Umgebung eines echten Branchenveränderers begeistert sind, werden Sie hier Ihren Platz finden. Wir schätzen das gemeinsame Gewinnen - während wir lernen, Spaß haben und einen tiefgreifenden Unterschied für die Träumer und Macher in der Welt machen.

DigitalOcean erweitert seine KI-Infrastruktur, um die nächste Generation von KI-gesteuerten Anwendungen zu unterstützen. Wir suchen einen Senior Engineer 2, der unserem AI Inference Data Plane-Team beitritt. In dieser Rolle werden Sie ein wichtiger technischer Leiter sein, der für das Design, die Entwicklung und die Bereitstellung von hochskalierbaren, resilienten Datenplane-Diensten verantwortlich ist, die unser Angebot "Inference as a Service" antreiben.

Was Sie tun werden:

• Technische Führung: Agieren Sie als technischer Leiter im Team und treiben Sie das End-to-End-Design, die Entwicklung und die Lieferung kritischer Datenplane-Komponenten, die große generative KI-Modelle hosten.
• Systemdesign: Architektieren und verfeinern Sie Systemdesignvorschläge für unser hochskalierbares, mehrmandantenfähiges KI-Inferenz-Cloud-Ökosystem, um sicherzustellen, dass sie strengen Verfügbarkeits- und Resilienzstandards entsprechen.
• Leistungsoptimierung: Implementieren und optimieren Sie das Hosting verteilter Inferenz mit Techniken wie Tensor-/Datenparallelismus, KV-Cache-Optimierungen und intelligentem Routing.
• Zusammenarbeit: Arbeiten Sie funktionsübergreifend mit Produktmanagern, kundenorientierten Teams und anderen Ingenieurteams zusammen, um technische Fahrpläne mit den Kundenbedürfnissen in Einklang zu bringen.
• Verteiltes Servieren in großem Maßstab: Bauen Sie auf Kubernetes-nativen Frameworks für verteilte Inferenz wie llm-d (oder Alternativen wie NVIDIA Dynamo, Ray Serve) auf, um Prefill/Decode-Disaggregation, KV-Cache-bewusstes Routing, gestaffeltes Präfix-Caching und breite Expertenparallelität für MoE-Modelle bereitzustellen.
• Flusskontrolle & Lastenausgleich: Lösen Sie die einzigartigen Probleme verteilter Systeme beim LLM-Serving - inferenzbewusster Lastenausgleich basierend auf Warteschlangentiefe, Cache-Lokalisierung und vorhergesagter Latenz; Flusskontrolle und Fairness über Mandanten hinweg; Autoskalierung von Inferenz-Pools; und das Bewegen von Gigabytes von KV-Cache zwischen Prefill- und Decode-Instanzen mit vernachlässigbarem Overhead.
• Open Source-Beiträge: Tragen Sie upstream zu llm-d, vLLM und dem Inferenz-Gateway-Ökosystem bei und vertreten Sie DigitalOcean in diesen Gemeinschaften.
• Mentorship: Coachen und betreuen Sie Junior Engineers und fördern Sie eine Kultur der technischen Exzellenz und kontinuierlichen Verbesserung.
• Betriebliche Exzellenz: Warten und betreiben Sie kritische, hochskalierbare Dienste unter Verwendung von Observabilitätswerkzeugen und definieren Sie SLOs, um eine überlegene Plattformgesundheit sicherzustellen.

Was Sie zu DigitalOcean mitbringen:

• KI/ML-Domänenwissen: Praktische Erfahrung im Hosting großer Sprach- oder multimodaler Modelle mit Inferenz-Engines wie vLLM, SGLang oder TensorRT.
• Inferenz-Frameworks: Vertrautheit mit Frameworks für verteiltes Inferenz-Serving wie llm-d, NVIDIA Dynamo oder Ray Serve.
• Inferenz-Engine-Tiefe: Praktische Erfahrung mit vLLM oder Alternativen (SGLang, TensorRT-LLM, TGI, Modular MAX), einschließlich interner Aspekte wie kontinuierliches Batching, gepufferte Aufmerksamkeit und Präfix-Caching.
• Fließfähigkeit in verteilter Inferenz: Verständnis dafür, warum das Servieren auf Cluster-Skala schwierig ist: KV-Cache-Lokalisierung ist über Arbeiter partitioniert, naive Round-Robin-Routing zerstört Cache-Trefferquoten und Tail-Latenz, und disaggregiertes Prefill/Decode erfordert schnellen cross-pod KV-Transfer (z.B. NIXL).
• Upstream-Erfahrung: Zusammengeführte Beiträge zu vLLM, llm-d, SGLang oder ähnlichen Projekten sind stark bevorzugt.
• Architekturkompetenz: Kenntnisse über gängige LLM-Architekturen und Optimierungstechniken (z.B. kontinuierliches Batching, Quantisierung).
• Software Engineering: Expertenkenntnisse in GoLang oder Python und Vertrautheit mit gRPC.
• Cloud-Operationen: Nachgewiesene Erfahrung in der Bereitstellung kundenorientierter Softwareprodukte und im Betrieb kritischer Dienste in einer hochskalierbaren Umgebung ähnlich wie DigitalOcean.
• Open Source-Mindset: Erfahrung in der Integration und dem Aufbau mit Open-Source-Software.

Vergütungsbereich: $167,200 - $209,000

*Dies ist eine hybride Rolle JR: 2026-7593 #LI-Hybrid

Warum Sie gerne für DigitalOcean arbeiten werden:

• Wir innovieren mit einem Zweck. Sie werden Teil eines Technologieunternehmens an der Spitze stehen, das stolz darauf ist, Cloud und KI zu vereinfachen, damit Entwickler mehr Zeit mit der Erstellung von Software verbringen können, die die Welt verändert.
• Als Mitglied des Teams werden Sie ein Shark sein, der groß, mutig und skrupellos denkt, wie ein Eigentümer mit einer Handlungsneigung und einem starken Verantwortungsbewusstsein für Kunden, Produkte, Mitarbeiter und Entscheidungen.
• Wir priorisieren die berufliche Entwicklung. Bei DO werden Sie die beste Arbeit Ihrer Karriere leisten. Sie werden mit einigen der klügsten und interessantesten Menschen der Branche arbeiten. Wir sind eine Hochleistungsorganisation, die Sie immer herausfordern wird, groß zu denken. Unser Team für organisatorische Entwicklung wird Ihnen Ressourcen zur Verfügung stellen, um sicherzustellen, dass Sie weiter wachsen.
• Wir bieten unseren Mitarbeitern eine Erstattung für relevante Konferenzen, Schulungen und Ausbildungen. Alle Mitarbeiter haben Zugang zu über 10.000 Kursen von LinkedIn Learning, um ihr kontinuierliches Wachstum und ihre Entwicklung zu unterstützen.
• Wir kümmern uns um Ihr Wohlbefinden. Unabhängig von Ihrem Standort bieten wir Ihnen eine wettbewerbsfähige Palette von Vorteilen, um Sie zu unterstützen, von unserem Mitarbeiterhilfeprogramm über lokale Mitarbeitertreffen bis hin zu flexiblen Urlaubsregelungen, um nur einige zu nennen.
• Wir belohnen unsere Mitarbeiter. Die Gehaltsspanne für diese Position basiert auf Marktdaten, relevanten Jahren an Erfahrung und Fähigkeiten. Sie können zusätzlich zum Grundgehalt für einen Bonus qualifiziert sein; die Bonusbeträge werden basierend auf der Unternehmens- und individuellen Leistung festgelegt. Wir bieten auch Eigenkapitalvergütung für berechtigte Mitarbeiter, einschließlich Eigenkapitalzuschüsse bei Einstellung und der Möglichkeit, an unserem Mitarbeiteraktienkaufprogramm teilzunehmen.
• DigitalOcean ist ein Arbeitgeber, der Chancengleichheit bietet. Wir diskriminieren nicht aufgrund von Rasse, Religion, Farbe, Abstammung, nationaler Herkunft, Kaste, Geschlecht, sexueller Orientierung, Geschlechtsidentität oder -ausdruck, Alter, Behinderung, medizinischem Zustand, Schwangerschaft, genetischer Veranlagung, Familienstand oder Militärdienst.

Bewerbungsgrenze: Sie können sich innerhalb eines Zeitraums von 180 Tagen maximal auf 3 Positionen bewerben. Diese Richtlinie fördert eine bessere Übereinstimmung zwischen Rolle und Kandidat und ermutigt zu durchdachten Bewerbungen, bei denen Ihre Qualifikationen am stärksten übereinstimmen.