Member of Technical Staff - Large Scale Data Infrastructure

Über Black Forest Labs

Wir sind das Team hinter Latent Diffusion, Stable Diffusion und FLUX – grundlegende Technologien, die verändert haben, wie die Welt Bilder und Videos erstellt. Wir entwickeln die generativen Modelle, die die Art und Weise, wie Menschen Bilder und Videos erstellen, antreiben – Werkzeuge, die von Millionen von Kreativen, Entwicklern und Unternehmen weltweit genutzt werden. Unsere FLUX-Modelle gehören zu den fortschrittlichsten der Welt, und wir fangen gerade erst an. Mit Hauptsitz in Freiburg, Deutschland, und einer wachsenden Präsenz in San Francisco, wachsen wir schnell, während wir uns treu bleiben: Forschungsexzellenz, offene Wissenschaft und der Aufbau von Technologien, die die menschliche Kreativität erweitern.

Warum diese Rolle

Wir suchen Infrastruktur-Ingenieure, die auf Peta- bis Exabyte-Skala arbeiten möchten. Sie werden die Datensysteme hinter den größten Trainingsläufen auf Tausenden von GPUs aufbauen, wobei das Beheben eines Engpasses es Forschern ermöglicht, das nächste bahnbrechende Modell zu trainieren.

Woran Sie arbeiten werden

• Skalierbare Datenlader für Trainingsläufe über Tausende von GPUs
• Effiziente Speicher- und Abrufsysteme für Petabyte-große Datensätze
• Multi-Cloud-Objektspeicherabstraktion
• Durchführung großangelegter Datenmigrationen über Speichersysteme und Anbieter
• Fehlerbehebung und Behebung von Leistungsengpässen beim verteilten Laden von Daten

Technischer Fokus

• Python, PyTorch DataLoader-Interna
• Objektspeicher (z.B. S3, Azure Blob, GCS)
• Parquet für Metadaten
• Video: ffmpeg, PyAV, Codec-Grundlagen

Was wir suchen

• Aufbau und Betrieb von Datenpipelines auf Petabyte-Skala
• Optimierung des Datenladens
• Arbeit mit Petabyte-großen Video- und Bilddatensätzen
• Schreiben von Verarbeitungsjobs, die auf Millionen von Dateien arbeiten
• Fehlerbehebung bei Engpässen in verteilten Systemen über große Maschinenflotten

Schön zu haben:

• Erfahrung mit Streaming-Datensatzformaten (z.B. WebDataset)
• Interne Video-Codecs und frame-genaues Suchen
• Erfahrung mit verteilten Systemen
• Slurm und Kubernetes für Job-Orchestrierung
• Erfahrung mit der Leistungsoptimierung von Objektspeichern über Anbieter hinweg

Wie wir zusammenarbeiten

Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Je nach Ihrer Rolle werden Sie entweder mindestens 2 Tage pro Woche (oder eine volle Woche alle zwei Wochen) in Freiburg oder SF bei uns sein oder remote arbeiten mit einer monatlichen persönlichen Woche, um verbunden zu bleiben. Wir übernehmen angemessene Reisekosten, um dies zu ermöglichen. Wir denken, dass persönliche Zeit wichtig ist, und wir haben die Dinge so strukturiert, dass sie für alle zugänglich sind. Wir werden besprechen, wie dies für die Rolle während unseres Interviewprozesses aussehen wird.

Alles, was wir tun, basiert auf vier Werten:

• Besessen. Wir sind ein Forschungsinstitut an der Front. Die Wissenschaft muss stimmen, das Verständnis tief, das Produkt schön.
• Niedriger Ego. Die Arbeit spricht. Die beste Idee gewinnt, egal wer sie gesagt hat. Anerkennung wird geteilt. Niemand steht über einer Aufgabe.
• Mutig. Wir gehen die ambitionierte Wette ein. Wir liefern, wir warten nicht darauf, dass die Bedingungen perfekt sind.
• Freundlich. Menschen über Politik. Wir behandeln uns gegenseitig mit echter Wärme. Handlung ohne Empathie schafft Chaos.

Wenn sich das nach Arbeit anhört, die Ihnen Freude bereiten würde, würden wir uns freuen, von Ihnen zu hören.

Jahresgrundgehalt (SF-basierte Rolle): $180.000–$300.000 USD + Eigenkapital