Senior Engineer II, Inference Engine - Serving Engine

Tauchen Sie ein und leisten Sie die beste Arbeit Ihrer Karriere bei DigitalOcean. Begleiten Sie eine starke Gemeinschaft von Top-Talenten, die unermüdlich daran arbeiten, die einfachste skalierbare Cloud zu schaffen. Wenn Sie eine Wachstumsmentalität haben, gerne groß und mutig denken und von der dynamischen Umgebung eines echten Branchenveränderers begeistert sind, werden Sie hier Ihren Platz finden. Wir schätzen es, gemeinsam zu gewinnen – während wir lernen, Spaß haben und einen tiefgreifenden Unterschied für die Träumer und Macher in der Welt machen.

DigitalOcean erweitert seine KI-Infrastruktur, um die nächste Generation von KI-gesteuerten Anwendungen zu unterstützen. Wir suchen einen Senior Engineer 2, der unserem Team für das KI-Inferenz-Engine-System beitritt. In dieser Rolle werden Sie ein wichtiger technischer Leiter sein, der für das Design, die Entwicklung und die Bereitstellung von hochskalierbaren, resilienten Datenplane-Diensten verantwortlich ist, die unser Angebot „Inference as a Service“ antreiben. Sie werden an der Schnittstelle von verteilten Systemen und spezialisierter KI-Hardware arbeiten, um sicherzustellen, dass unsere Kunden ihre Modelle mit branchenführender Leistung und Zuverlässigkeit bereitstellen und skalieren können. Dies ist eine praktische Rolle, die erfordert, dass Sie in der Lage sind, qualitativ hochwertige Software zu entwickeln und dabei alle Produktivitätssteigerungen zu nutzen, die die neuesten KI-Coding-Agenten bieten.

Was Sie tun werden:

• Technische Führung: Agieren Sie als technischer Leiter im Team und treiben Sie das End-to-End-Design, die Entwicklung und die Bereitstellung kritischer Datenplane-Komponenten, die große generative KI-Modelle hosten, voran.
• Systemdesign: Architekt und verfeinern Sie Systemdesignvorschläge für unser hochskalierbares, mehrmandantenfähiges KI-Inferenz-Cloud-Ökosystem und stellen Sie sicher, dass sie strengen Verfügbarkeits- und Resilienzstandards entsprechen.
• Leistungsoptimierung: Implementieren und optimieren Sie das Hosting verteilter Inferenz unter Verwendung von Techniken wie Tensor-/Datenparallelismus, KV-Cache-Optimierungen und intelligentem Routing.
• Zusammenarbeit: Arbeiten Sie funktionsübergreifend mit Produktmanagern, kundenorientierten Teams und anderen Ingenieurteams zusammen, um technische Fahrpläne mit den Bedürfnissen der Kunden in Einklang zu bringen.
• Mentoring: Coachen und betreuen Sie Junior Engineers und fördern Sie eine Kultur der technischen Exzellenz und kontinuierlichen Verbesserung.
• Betriebliche Exzellenz: Pflegen und betreiben Sie kritische, hochskalierbare Dienste, nutzen Sie Beobachtungswerkzeuge und definieren Sie SLOs, um eine überlegene Plattformgesundheit sicherzustellen.

Was Sie zu DigitalOcean mitbringen:

• Expertise in verteilten Systemen: Starke Erfahrung mit Microservices, Messaging-Systemen, Datenbanken und Infrastruktur als Code.
• KI/ML-Domänenwissen: Praktische Erfahrung im Hosting großer Sprach- oder multimodaler Modelle mit Inferenz-Engines wie vLLM, SGLang oder Modular.
• Inferenz-Frameworks: Vertrautheit mit Frameworks für verteiltes Inferenz-Hosting wie llm-d, NVIDIA Dynamo oder Ray Serve.
• Hardware & Interconnects: Verständnis für GPU-Optimierung und Erfahrung mit Interconnect-Technologien wie NVlink, XGMI oder RoCE.
• Architekturkenntnisse: Kenntnisse über gängige LLM-Architekturen und Optimierungstechniken (z. B. kontinuierliches Batching, Quantisierung).
• Software Engineering: Expertenkenntnisse in GoLang oder Python und Vertrautheit mit gRPC.
• Cloud-Operationen: Nachgewiesene Erfahrung in der Bereitstellung kundenorientierter Softwareprodukte und im Betrieb kritischer Dienste in einer hochskalierbaren Umgebung ähnlich wie DigitalOcean.
• Open Source-Mindset: Erfahrung in der Integration und dem Aufbau mit Open-Source-Software.

Vergütungsbereich: 167.200 - 209.000 USD

Warum Sie gerne für DigitalOcean arbeiten werden:

• Wir innovieren mit einem Zweck. Sie werden Teil eines Technologieunternehmens an der Spitze stehen, das stolz darauf ist, Cloud und KI zu vereinfachen, damit Entwickler mehr Zeit mit der Erstellung von Software verbringen können, die die Welt verändert.
• Wir priorisieren die berufliche Entwicklung. Bei DO werden Sie die beste Arbeit Ihrer Karriere leisten. Sie werden mit einigen der klügsten und interessantesten Menschen der Branche zusammenarbeiten.
• Wir kümmern uns um Ihr Wohlbefinden. Unabhängig von Ihrem Standort bieten wir Ihnen eine wettbewerbsfähige Palette von Vorteilen, um Sie zu unterstützen.
• Wir belohnen unsere Mitarbeiter. Die Gehaltsspanne für diese Position basiert auf Marktdaten, relevanten Jahren an Erfahrung und Fähigkeiten.

DigitalOcean ist ein Arbeitgeber, der Chancengleichheit bietet. Wir diskriminieren nicht aufgrund von Rasse, Religion, Farbe, Abstammung, nationaler Herkunft, Kaste, Geschlecht, sexueller Orientierung, Geschlechtsidentität oder -ausdruck, Alter, Behinderung, medizinischem Zustand, Schwangerschaft, genetischer Zusammensetzung, Familienstand oder Militärdienst.

Bewerbungsgrenze: Sie können sich innerhalb eines Zeitraums von 180 Tagen maximal auf 3 Positionen bewerben.