Senior Backend Engineer - Together Cloud

Together AI baut die AI Acceleration Cloud, eine End-to-End-Plattform für den gesamten generativen KI-Lebenszyklus, die die schnellste LLM-Inferenz-Engine mit modernster KI-Cloud-Infrastruktur kombiniert. Als Senior AI Infrastructure Engineer spielen Sie eine Schlüsselrolle beim Aufbau der nächsten Generation der KI-Cloud-Plattform – einer hochverfügbaren, globalen, blitzschnellen Cloud-Infrastruktur, die modernste ML-Hardware (GB200s/GB300s, BlueField DPUs) virtualisiert und modernen ML-Praktikern selbstbedienbare KI-Cloud-Dienste wie On-Demand- und verwaltete Kubernetes- und Slurm-Cluster ermöglicht. Diese Plattform dient sowohl unseren internen SaaS-Produkten (Inference, Fine-Tuning) als auch unseren externen Cloud-Kunden und spannt sich über Dutzende von Rechenzentren auf der ganzen Welt.

Einige der Aufgaben, an denen Sie arbeiten werden:

• Entwerfen, Erstellen und Warten von leistungsstarken, sicheren und hochverfügbaren Backend-Diensten/Betriebsanwendungen, die in unseren Rechenzentren laufen und das Hardware-Management automatisieren, wie z.B. Infiniband-Partitionierung, parallele Speicherbereitstellung im Rechenzentrum und VM-Bereitstellung.
• Entwerfen und Ausbauen der IaaS-Software-Schicht für ein neues GB200-Rechenzentrum mit Tausenden von GPUs.
• Arbeiten an einem globalen, multi-exabyte Hochleistungs-Objektspeicher, der massive Datensätze für das Pretraining bereitstellt.
• Erstellen fortschrittlicher Observabilitätsstacks für unsere Kunden mit automatisiertem Lebenszyklusmanagement für fehlertolerantes verteiltes Pretraining.

Um erfolgreich zu sein, benötigen Sie tiefgehende technische Kenntnisse sowie hervorragende Kommunikations-, Kooperations- und Diplomatiefähigkeiten. Sie verfügen über starke grundlegende Softwareentwicklungsfähigkeiten. Darüber hinaus haben Sie umfassende Systemkenntnisse und Troubleshooting-Fähigkeiten.

Anforderungen:

• 5+ Jahre Berufserfahrung in der Softwareentwicklung und Kenntnisse in mindestens einer Backend-Programmiersprache (Golang gewünscht).
• 5+ Jahre Erfahrung in der Erstellung von leistungsstarkem, gut getesteten, produktionsreifen Code.
• Nachgewiesene Erfahrung im Aufbau und Betrieb von hochleistungsfähigen und/oder global verteilten Microservice-Architekturen über einen oder mehrere Cloud-Anbieter (AWS, Azure, GCP).
• Ausgezeichnete Kommunikationsfähigkeiten – in der Lage, klare Entwurfsdokumente zu schreiben und effektiv mit technischen und nicht-technischen Teammitgliedern zu arbeiten.
• Tiefe Erfahrung mit Kubernetes-Interna ist ein großes Plus, wie z.B. die Implementierung nicht trivialer Kubernetes-Operatoren, Geräte-/Speicher-/Netzwerk-Plugins, benutzerdefinierte Scheduler oder Patches dafür oder Kubernetes selbst.
• Tiefe Erfahrung mit VMs/Hypervisoren ist ein großes Plus, wie z.B. QEMU/KVM, Cloud-Hypervisor, VFIO, Virtio, PCIe-Passthrough, Kubevirt, SR-IOV.
• Tiefe Erfahrung mit DC-Netzwerktechnologien + Lösungen ist ein großes Plus, wie z.B. VLAN, VXLAN, VPN, VPC, OVS/OVN.
• Erfahrung mit Cluster API oder ähnlichem ist ein großes Plus.
• Erfahrung in der Arbeit mit Hochleistungsrechnern, Netzwerken und/oder Speicher ist ein großes Plus.
• Erfahrung in der Virtualisierung von GPUs und/oder Infiniband ist ein großes Plus.
• Starke Systemkenntnisse in den Bereichen Rechnen, Netzwerk und Speicher, einschließlich Nebenläufigkeit, Speicherverwaltung, leistungsfähigem I/O und Skalierung.
• Erfahrung mit Infrastrukturautomatisierungstools (Terraform, Ansible), Monitoring-/Observabilitätsstacks (Prometheus, Grafana) und CI/CD-Pipelines (GitHub Actions, ArgoCD).
• Erfahrung im Aufbau von IaaS- oder PaaS-Systemen in großem Maßstab ist ein Plus.
• Erfahrung mit DPUs/SmartNICs ist ein Plus.
• Kenntnisse in GPU-Programmierung, NCCL, CUDA sind ein Plus.

Verantwortlichkeiten:

• Durchführen von Architektur- und Forschungsarbeiten für dezentrale KI-Workloads.
• Arbeiten an der Kernplattform von Together AI, die Open Source ist.
• Erstellen von Diensten, Tools und Entwicklerdokumentationen.
• Erstellen von Testframeworks für Robustheit und Fehlertoleranz.

Vergütung:

Wir bieten wettbewerbsfähige Vergütung, Startup-Eigenkapital, Krankenversicherung und andere Vorteile sowie Flexibilität in Bezug auf Remote-Arbeit. Die US-Grundgehaltsspanne für diese Vollzeitstelle liegt zwischen 160.000 und 230.000 USD + Eigenkapital + Leistungen. Unsere Gehaltsspannen werden durch Standort, Niveau und Rolle bestimmt. Die individuelle Vergütung wird durch Erfahrung, Fähigkeiten und berufsbezogenes Wissen festgelegt.

Chancengleichheit:

Together AI ist ein Arbeitgeber, der Chancengleichheit bietet, und ist stolz darauf, allen unabhängig von Rasse, Hautfarbe, Abstammung, Religion, Geschlecht, nationaler Herkunft, sexueller Orientierung, Alter, Staatsbürgerschaft, Familienstand, Behinderung, Geschlechtsidentität, Veteranenstatus und mehr gleiche Beschäftigungsmöglichkeiten zu bieten.