Director of Engineering - AI Inferences

WEKA entwickelt einen neuen Ansatz für den Unternehmensdatenstapel, der für das Zeitalter des Denkens konzipiert ist. NeuralMesh von WEKA setzt den Standard für agentische KI-Dateninfrastruktur mit einer cloud- und KI-nativen Softwarelösung, die überall bereitgestellt werden kann. Es transformiert veraltete Datensilos in Datenpipelines, die die GPU-Auslastung dramatisch erhöhen und das Training und die Inferenz von KI-Modellen, maschinelles Lernen und andere rechenintensive Workloads schneller, effizienter und energieeffizienter machen.

WEKA ist ein wachstumsstarkes Unternehmen vor dem Börsengang mit einer hyper-wachstumsorientierten Strategie. Wir haben 375 Millionen Dollar an Kapital gesammelt, unterstützt von Dutzenden von erstklassigen Risikokapitalgebern und strategischen Investoren. Wir helfen den größten und innovativsten Unternehmen und Forschungsorganisationen der Welt, darunter 12 der Fortune 50, Entdeckungen, Erkenntnisse und Geschäftsergebnisse schneller und nachhaltiger zu erzielen. Wir sind leidenschaftlich daran interessiert, die komplexesten Datenherausforderungen unserer Kunden zu lösen, um intelligente Innovation und Geschäftswert zu beschleunigen. Wenn Sie unsere Leidenschaft teilen, laden wir Sie ein, sich uns auf dieser aufregenden Reise anzuschließen.

Anforderungen

• Wir suchen einen Director of Engineering - AI Inferences, der unser AI Inference-Team leitet. In dieser Rolle überbrücken Sie die Kluft zwischen komplexer Forschung und produktionsgerechter Technik.
• Sie führen ein enges Team von 3 Entwicklern und bleiben dabei „hands-on“, indem Sie leistungsstarke Systeme entwerfen, die das Serving von großen Sprachmodellen (LLM) optimieren.
• Der ideale Kandidat ist tief in Inferenz und Skalierung investiert und kennt sich mit den sich entwickelnden Ökosystemen von Serving-Frameworks wie vLLM und LMCache aus.

Verantwortlichkeiten

• Technische Führung: Entwerfen und Überwachen der Bereitstellung von Hochdurchsatz-, Niedriglatenz-LLM-Inferenzpipelines.
• Teammanagement: Mentoring und Leitung eines kleinen Entwicklerteams, Durchführung von Code-Reviews, Sprint-Planung und technische Karriere-Coachings.
• Inferenzoptimierung: Implementierung und Bewertung modernster KV-Cache-Management-Lösungen, einschließlich LMCache, und Erkundung von Alternativen zur Minimierung redundanter Berechnungen.
• Framework-Meisterschaft: Tiefe Integration und Optimierung von Serving-Engines wie vLLM, LLM-d und NIXL zur Maximierung der Hardwareauslastung.
• Forschung und Entwicklung: An der Spitze des Bereichs „Inference-as-a-Service“ bleiben, neue Tools benchmarken und entscheiden, wann der Stack geändert werden soll.
• KI-Inferenzbereich: Nachgewiesene Erfahrung mit KV-Cache-Wiederverwendung, spekulativer Dekodierung und kontinuierlichem Batching.
• Spezieller Stack: Tiefes Verständnis von vLLM, LMCache und NIXL. Verständnis der Vor- und Nachteile von zentralisiertem vs. verteilt caching.
• Backend-Engineering: Expertise in Python, C++ oder Rust, mit einem starken Verständnis von CUDA und GPU-Speicherverwaltung.
• Infrastruktur: Erfahrung mit Kubernetes (K8s) zur Skalierung von GPU-Workloads und Optimierung der Kaltstartzeiten.

Die WEKA-Werte

• Wir sind verantwortlich: Wir übernehmen die volle Verantwortung, immer – auch wenn nicht alles nach Plan läuft.
• Wir sind mutig: Wir hinterfragen den Status quo, überschreiten Grenzen und gehen kluge Risiken ein, wenn es nötig ist.
• Wir sind kollaborativ: Wahre Zusammenarbeit bedeutet nicht nur, zusammenzuarbeiten, sondern sich gegenseitig zum Erfolg zu verhelfen.
• Wir sind kundenorientiert: Unsere Kunden stehen im Mittelpunkt unseres Handelns. Wir hören aktiv zu und priorisieren den Erfolg unserer Kunden.

WEKA ist ein Arbeitgeber, der Chancengleichheit bietet und Diskriminierung und Belästigung jeglicher Art verbietet. Wir bieten allen Mitarbeitern und Bewerbern für eine Beschäftigung gleiche Chancen, unabhängig von Rasse, Farbe, Religion, Alter, Geschlecht, nationaler Herkunft, Behinderungsstatus, genetischen Informationen, geschützten Veteranenstatus, sexueller Orientierung, Geschlechtsidentität oder -ausdruck oder einer anderen durch Bundes-, Landes- oder lokale Gesetze geschützten Eigenschaft.