Site Reliability Engineer, Inference Infrastructure

Wer sind wir? Unsere Mission ist es, Intelligenz zu skalieren, um der Menschheit zu dienen. Wir trainieren und setzen fortschrittliche Modelle für Entwickler und Unternehmen ein, die KI-Systeme zur Schaffung magischer Erlebnisse wie Inhaltsgenerierung, semantische Suche, RAG und Agenten aufbauen. Wir glauben, dass unsere Arbeit entscheidend für die weitreichende Akzeptanz von KI ist. Wir sind leidenschaftlich bei dem, was wir bauen. Jeder von uns ist dafür verantwortlich, die Fähigkeiten unserer Modelle und den Wert, den sie für unsere Kunden schaffen, zu steigern. Wir arbeiten hart und schnell, um das Beste für unsere Kunden zu tun. Cohere ist ein Team von Forschern, Ingenieuren, Designern und mehr, die leidenschaftlich für ihr Handwerk sind. Jede Person gehört zu den Besten der Welt in dem, was sie tut. Wir glauben, dass eine vielfältige Perspektive eine Voraussetzung für den Bau großartiger Produkte ist. Schließen Sie sich uns an und gestalten Sie die Zukunft!

Warum diese Rolle? Sind Sie begeistert davon, leistungsstarke, skalierbare und zuverlässige maschinelle Lernsysteme zu entwickeln? Möchten Sie helfen, die nächste Generation von KI-Plattformen zu definieren und aufzubauen, die fortschrittliche NLP-Anwendungen antreiben? Wir suchen einen Site Reliability Engineer, der dem Model Serving-Team bei Cohere beitritt. Das Team ist verantwortlich für die Entwicklung, Bereitstellung und den Betrieb der KI-Plattform, die Cohere's große Sprachmodelle über benutzerfreundliche API-Endpunkte bereitstellt. In dieser Rolle werden Sie eng mit vielen Teams zusammenarbeiten, um optimierte NLP-Modelle in Produktionsumgebungen mit niedriger Latenz, hoher Durchsatzrate und hoher Verfügbarkeit bereitzustellen. Sie haben auch die Möglichkeit, mit Kunden zu interagieren und maßgeschneiderte Bereitstellungen zu erstellen, um deren spezifische Bedürfnisse zu erfüllen.

Als Site Reliability Engineer werden Sie:

• Selbstbedienungssysteme entwickeln, die das Management, die Bereitstellung und den Betrieb von Diensten automatisieren. Dazu gehören unsere benutzerdefinierten Kubernetes-Operatoren, die Sprachmodellbereitstellungen unterstützen.
• Umgebungsbeobachtbarkeit und Resilienz automatisieren.
• Allen Entwicklern ermöglichen, Probleme zu beheben und zu lösen.
• Die erforderlichen Schritte unternehmen, um sicherzustellen, dass wir definierte SLOs erreichen, einschließlich der Teilnahme an einer Bereitschaftsrotation.
• Starke Beziehungen zu internen Entwicklern aufbauen und den Fahrplan des Infrastrukturteams basierend auf ihrem Feedback beeinflussen.
• Unser Team durch Wissensaustausch und einen aktiven Überprüfungsprozess weiterentwickeln.

Sie könnten gut passen, wenn Sie:

• Über 5 Jahre Erfahrung in der Ingenieurarbeit mit Produktionsinfrastruktur in großem Maßstab verfügen.
• Erfahrung im Entwerfen großer, hochverfügbarer verteilter Systeme mit Kubernetes und GPU-Workloads auf diesen Clustern haben.
• Erfahrung mit Kubernetes-Entwicklung und -Produktion sowie Unterstützung haben.
• Erfahrung mit GCP, Azure, AWS, OCI, Multi-Cloud On-Prem / Hybrid-Serving haben.
• Erfahrung im Entwerfen, Bereitstellen, Unterstützen und Troubleshooting in komplexen Linux-basierten Rechenumgebungen haben.
• Erfahrung im Management von Rechen-/Speicher-/Netzwerkressourcen und Kostenmanagement haben.
• Ausgezeichnete Zusammenarbeit und Problemlösungsfähigkeiten besitzen, um mission-critical Systeme zu erstellen und einen reibungslosen Betrieb und effiziente Teamarbeit sicherzustellen.
• Die Entschlossenheit und Anpassungsfähigkeit haben, komplexe technische Herausforderungen zu lösen, die sich täglich entwickeln.
• Vertrautheit mit den rechnerischen Eigenschaften von Beschleunigern (GPUs, TPUs und/oder benutzerdefinierten Beschleunigern), insbesondere wie sie die Latenz und den Durchsatz von Inferenz beeinflussen.
• Ein starkes Verständnis oder praktische Erfahrung mit verteilten Systemen haben.
• Erfahrung in Golang, C++ oder anderen Sprachen haben, die für hochleistungsfähige skalierbare Server entwickelt wurden.

Wenn einige der oben genannten Punkte nicht perfekt mit Ihrer Erfahrung übereinstimmen, ermutigen wir Sie dennoch, sich zu bewerben! Wir schätzen und feiern Vielfalt und bemühen uns, ein integratives Arbeitsumfeld für alle zu schaffen. Wir heißen Bewerber aus allen Hintergründen willkommen und setzen uns dafür ein, Chancengleichheit zu bieten. Sollten Sie während des Rekrutierungsprozesses Unterstützung benötigen, reichen Sie bitte ein Anfrageformular für Unterkünfte ein, und wir werden gemeinsam daran arbeiten, Ihre Bedürfnisse zu erfüllen.

Vollzeitmitarbeiter bei Cohere genießen folgende Vorteile:

• Eine offene und inklusive Kultur und Arbeitsumgebung.
• Enger Kontakt mit einem Team an der Spitze der KI-Forschung.
• Wöchentlicher Mittagszuschuss, Mittagessen und Snacks im Büro.
• Umfassende Gesundheits- und Zahnleistungen, einschließlich eines separaten Budgets für Ihre psychische Gesundheit.
• 100% Elternzeit-Zuschuss für bis zu 6 Monate.
• Persönliche Bereicherungsleistungen für Kunst und Kultur, Fitness und Wohlbefinden, Qualitätszeit und Arbeitsplatzverbesserung.
• Remote-flexibel, Büros in Toronto, New York, San Francisco, London und Paris sowie ein Co-Working-Zuschuss.
• 6 Wochen Urlaub (30 Arbeitstage!).