Machine Learning Systems & Infrastructure Engineer

SpAItial ist Pionier der nächsten Generation von Weltmodellen und erweitert die Grenzen von generativer KI, Computer Vision und Simulation. Wir bewegen uns über 2D-Pixel hinaus, um Modelle zu entwickeln, die die Physik und Geometrie unserer Welt nativ verstehen. Unsere Mission ist es, zu redefinieren, wie Branchen, von Robotik und AR/VR bis hin zu Gaming und Kino, physikalisch fundierte 3D-Umgebungen generieren und interagieren. Wir suchen mutige, innovative Personen, die von einer Leidenschaft für die Lösung schwieriger Probleme in generativer 3D-KI angetrieben werden. Sie sollten in einer Umgebung gedeihen, in der Kreativität auf technische Herausforderungen trifft, Stolz auf Handwerk haben und eng mit einem kleinen Team zusammenarbeiten, das Grenzsysteme aufbaut.

Wir suchen einen Machine Learning Systems & Infrastructure Engineer, der die Systeme entwickelt und besitzt, die rohe Echtzeitdaten in trainierte Weltmodelle und zuverlässige Produktionsendpunkte umwandeln. Sie werden skalierbare Trainingsstacks, Datenaufnahme-Pipelines, Experiment-Orchestrierung und Modellbereitstellung für große, diffusionsbasierte generative Modelle entwerfen, implementieren und betreiben. Die Rolle ist praktisch und code-lastig — Sie werden im selben Monorepo wie das Forschungsteam arbeiten, hauptsächlich in Python, und sollten ebenso komfortabel sein, eine Trainerklasse oder einen Datensatzlader zu refaktorisieren, wie Sie es sind, Terraform zu schreiben.

Verantwortlichkeiten

• Besitzen und weiterentwickeln der ML-Systeme, die das Training, die Bewertung und die Bereitstellung großer Grundmodelle ermöglichen — Trainer, Datensatzlader, Checkpointing und Experiment-Orchestrierungscode.
• Ermöglichung des verteilten Trainings: Verbesserung der Hochdurchsatz-Trainingsstacks (z.B. PyTorch DDP/FSDP, NCCL) hinsichtlich Leistung, Stabilität und Reproduzierbarkeit, einschließlich unterbrechungssicherem und fragmentiertem Checkpointing.
• Daten Systeme und Pipelines: Aufbau von End-to-End-Python-Pipelines, die Drittanbieter-Erfassungsquellen in saubere, versionierte Trainingsdatensätze umwandeln — einschließlich Scraping (z.B. Playwright) und Vorverarbeitung — und Optimierung des zugrunde liegenden Speichers im Petabyte-Maßstab (Objektspeicher, Fuse-Mounts, Caching-Schichten, gemeinsame Dateisysteme und relationale / analytische / eingebettete Metadatenspeicher).
• ML-Workflow-Orchestrierung und -Bereitstellung: Betrieb der Systeme, die Forscher verwenden, um Experimente, Datenjobs und Produktionsendpunkte zu starten — Workflow-Engines (z.B. Kubeflow Pipelines, Airflow), GPU-Planer (z.B. Volcano, Slurm), Experiment-Tracker (z.B. MLflow, Weights & Biases) und verwaltete Inferenzplattformen (z.B. Modal, Triton) — und Pflege eines Launcher-SDK für Ein-Kommando-Ausführungen.
• Containerisierung und Verpackung: Auslieferung von Workloads mit Docker und Kubernetes; Pflege von IaC (Terraform) für die Oberflächen, die Sie besitzen, und CI/CD-Pipelines, einschließlich selbstgehosteter GPU-Runner.
• Beobachtbarkeit und Zuverlässigkeit: Überwachung, Protokollierung und Alarmierung für Jobleistung, Gesundheit der Datenpipeline und Kosten (z.B. Prometheus/Grafana, OpenTelemetry); Definition von SLOs und Incident-Response für die Systeme, die Sie besitzen.
• Sicherheit und Zugriff: Verwaltung von Geheimnissen, IAM und Netzwerkgrenzen (z.B. Tailscale, Cloud VPC) für die Systeme, die Sie besitzen.
• Zusammenarbeit: Partnerschaft mit ML-Forschern, Ingenieuren und dem Plattformteam, um das Training und die Datenarbeit zu entblocken und die Entwicklererfahrung zu verbessern.

Wesentliche Qualifikationen

• 3+ Jahre Erfahrung in der Produktion von qualitativ hochwertigem Python in einem großen, mehrautoren Codebase, mit starken SWE-Grundlagen (Erfahrung mit ML-Systemen stark bevorzugt).
• Praktische Erfahrung mit modernen ML-Trainingsstacks (PyTorch; DDP/FSDP oder vergleichbar); haben persönlich verteilte Jobs über viele GPUs und Knoten debuggt.
• Haben nicht triviale End-to-End-Datenpipelines in großem Maßstab ausgeliefert — Aufnahme, Transformation, Validierung, Versionierung, Neuveröffentlichung — idealerweise einschließlich realer Quellen mit Ratenlimits, Authentifizierung oder nicht dokumentierten APIs.
• Praktische Erfahrung mit GPU-Computing und Leistungsdebugging (CUDA/NCCL, GPU-Nutzung, Netzwerkengpässe, Profilierung).
• Grundkenntnisse in Cloud-Umgebungen (AWS, GCP oder Azure), einschließlich Objektspeicher, IAM und Kostenbewusstsein.
• Versiert im Umgang mit Containern (Docker, Kubernetes) und sicher im Lesen und Schreiben von IaC (Terraform) für die Oberflächen, die Sie ausliefern.
• Starkes Wissen darüber, wie man große Datensätze im großen Maßstab speichert und abfragt: SQL-Grundlagen; relationale (z.B. Postgres), analytische (z.B. BigQuery, Snowflake) und eingebettete (z.B. SQLite) Speicher; und Objektspeicher mit Caching-Schichten.
• Vertrautheit mit ML-Workflow-Orchestrierung und Experimentverfolgung (z.B. Kubeflow Pipelines, MLflow).
• Erfahrung mit Überwachungs- und Beobachtbarkeitstools (z.B. Prometheus/Grafana, OpenTelemetry) und CI/CD für Infrastruktur und ML-Workflows (z.B. GitHub Actions).

Chancengleichheit

Bei SpAItial setzen wir uns dafür ein, einen vielfältigen und integrativen Arbeitsplatz zu schaffen. Wir begrüßen Bewerbungen von Menschen aus allen Hintergründen, Erfahrungen und Perspektiven. Wir sind ein Arbeitgeber, der Chancengleichheit bietet, und stellen sicher, dass alle Kandidaten während des Rekrutierungsprozesses fair behandelt werden.