Senior Software Engineer (YDB Team) in Berlin

Über Nebius:

Nebius führt eine neue Ära in der Cloud-Infrastruktur für die globale KI-Wirtschaft ein. Wir bauen eine Full-Stack-AI-Cloud-Plattform, die Entwicklern und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und Komplexität des Aufbaus großer interner AI/ML-Infrastrukturen. Von Ingenieuren für Ingenieure gebaut. Von der Orchestrierung großer GPU-Cluster bis zur Optimierung der Inferenz lösen wir die schwierigen Probleme in den Bereichen Compute, Storage, Networking und angewandte KI.

Das YDB-Entwicklungsteam bei Nebius sucht Softwareentwickler auf mittlerem und senioren Niveau mit C++-Expertise. YDB ist eine Open-Source-Plattform mit zwei Rollen innerhalb von Nebius:

• Bereitstellung der binären Objektspeichergrundlage für S3-Objektspeicher, gemeinsame Dateisysteme und Netzwerkblockspeicher
• Servieren als verteilte relationale Datenbank und Nachrichtenbroker für Dienste wie IAM, Abrechnung, Prüfpfade und Protokollierung

Wir betreiben YDB-Cluster in mehr als 10 Regionen mit HDD- und NVMe-Speicher. Einzelne Cluster umfassen Zehntausende von Knoten, verwalten Hunderte von Petabytes an Daten und liefern Terabytes pro Sekunde an Durchsatz.

Was Sie bearbeiten werden:

• Entwicklung der Architektur von YDB für neue Hardware, Neugestaltung von Kernkomponenten, wenn inkrementelle Optimierungen nicht ausreichen.
• Unterstützung von Hochkapazitäts-SMR-HDDs durch Entwurf der Datenplatzierung, sequentielle Schreibvorgänge, Garbage Collection und Wiederherstellung unter Berücksichtigung zonierter Schreibbeschränkungen.
• Entwicklung breiter Fehlerkorrekturschemata zur Reduzierung der Platzkomplexität bei gleichzeitiger Gewährleistung von Haltbarkeit und Verfügbarkeit.
• Verhinderung, Erkennung und Wiederherstellung von stillen Datenkorruptionen über Speicher, Netzwerk und Speicherung.
• Bereitstellung der Systemfähigkeiten und Schnittstellen, die für die automatisierte Verwaltung von Hunderten von Produktionsclustern erforderlich sind.

Wir bewegen uns schnell und konzentrieren uns darauf, praktischen Wert zu liefern. Funktionen und Optimierungen, die in den Produktionszweig integriert werden, werden typischerweise innerhalb von Wochen bereitgestellt.

Anforderungen:

• 5+ Jahre Berufserfahrung in der Entwicklung von Hochlastsystemen in C oder C++. Kandidaten mit 3+ Jahren werden ebenfalls berücksichtigt, wenn ihre Erfahrung relevante Arbeiten an verteilten Speichersystemen umfasst.
• Erfahrung in der Entwicklung von leistungsstarken, latenzarmen Softwarekomponenten.
• Verständnis von Core Dumps, Flame Graphs und sanitizer-aktivierten Builds.
• Verständnis von CPU-Caches, atomaren Operationen und NUMA-Architekturen.

Schön zu haben:

• Erfahrung in der Gestaltung und Entwicklung von produktionsreifen verteilten Speichersystemen und/oder Datenbanken.
• Erfahrung mit on-disk-Datenstrukturen wie LSM-Bäumen und B+-Bäumen sowie Speicheralgorithmen wie Fehlerkorrektur und Prüfziffern.
• Verständnis der Interna von NVMe, konventionellen HDDs und SMR-HDDs.
• Erfahrung mit Debugging- und Profiling-Tools wie perf, VTune, bpftrace und gdb.
• Vertrautheit mit dem Linux-Kernel, SPDK/DPDK, libaio und io_uring.
• Kenntnisse in IP, TCP, UDP und DNS, idealerweise auch InfiniBand oder RoCE/RDMA.
• Erfahrung mit Kubernetes und Grafana.
• Erfahrung in der Reaktion auf Produktionsvorfälle.
• Kenntnisse in Verfügbarkeits- und Haltbarkeitsberechnungen.

Für Senior-Kandidaten bieten wir hybrides Arbeiten oder die Flexibilität, remote innerhalb der EU zu arbeiten.

Wettbewerbsfähige Vergütung, Karrierewachstum und Lernmöglichkeiten, Flexibilität und Eigenverantwortung, kollaborative und innovative Kultur, Möglichkeit, an bedeutenden KI-Projekten zu arbeiten, internationales Umfeld und talentierte Teams.

Was es bedeutet, bei Nebius zu arbeiten: Schnelllebig - Mutiges Denken - Ständiges Wachstum - Bedeutungsvolle Auswirkungen - Vertrauen und echte Verantwortung - Möglichkeit, die Zukunft der KI zu gestalten.

Gleichstellungserklärung: Nebius ist ein Arbeitgeber, der Chancengleichheit bietet. Wir setzen uns dafür ein, einen integrativen und vielfältigen Arbeitsplatz zu fördern und Chancengleichheit in allen Aspekten der Beschäftigung zu gewährleisten.