Member of Technical Staff - Large Scale Data Infrastructure

Was wäre, wenn die Fähigkeit, kontinuierlich verbesserte Modelle zu trainieren, nur die Möglichkeit wäre, all unsere Daten abzurufen und zu verarbeiten? Unser Gründungsteam hat Latent Diffusion und Stable Diffusion entwickelt - Durchbrüche, die generative KI Millionen zugänglich gemacht haben. Heute treiben unsere FLUX-Modelle kreative Werkzeuge, Design-Workflows und Produkte in verschiedenen Branchen weltweit an. Unsere FLUX-Modelle sind nicht nur aufgrund ihrer Leistungsfähigkeit, sondern auch wegen der Benutzerfreundlichkeit bei der Entwicklung von Produktionsanwendungen erstklassig. Wir führen öffentliche Benchmarks an und konkurrieren an der Spitze - und in den meisten Fällen gewinnen wir. Wenn Sie unermüdlich neugierig sind und von hoher Eigenverantwortung getrieben werden, möchten wir mit Ihnen sprechen.

Mit einem Team von ~50 bewegen wir uns schnell und übertreffen unsere Möglichkeiten. Von unseren Labors in Freiburg - einer Universitätsstadt im Schwarzwald - und San Francisco aus bauen wir das, was als Nächstes kommt.

Was Sie Pionierarbeit leisten werden

Sie werden die Datensysteme erstellen, die Grenzforschung und die größten Trainingsläufe ermöglichen. Es geht darum, Infrastruktur in einem Maßstab aufzubauen, bei dem Milliarden-Bild-Datensätze normal sind und bei dem Videoverarbeitungs-Pipelines über Tausende von GPUs laufen müssen.

Sie werden die Person sein, die:

• Skalierbare Infrastruktur entwickelt und pflegt, um massive Bild- und Videodatensätze zu speichern und abzurufen - wo "groß" Milliarden von Assets bedeutet, nicht Millionen.
• Die Datenabfrage optimiert, damit jeder Trainingslauf alle GPUs vollständig nutzen kann.
• Werkzeuge zum effizienten Verwalten von Datensätzen erstellt.
• Datenübertragungen von Lizenzpartnern verwaltet und koordiniert.
• Sicherstellt, dass wir unseren Objektspeicher so effizient wie möglich nutzen.

Fragen, mit denen wir uns auseinandersetzen

Welche Formate bieten die beste Ladegeschwindigkeit, während sie die notwendige Flexibilität beibehalten, um weiterhin auf den Daten aufzubauen? Was sind die tatsächlichen Engpässe und Fehlerfälle beim Abrufen von Daten im großen Maßstab? Wie können wir Datenabruffehler in einzelnen Prozessen identifizieren, verhindern und umgehen?

Diese Fragen beeinflussen den Kern unserer gesamten Forschung und wirken sich auf die Effizienz und Iterationszyklen aus, die wir durchführen können.

Wer hier gedeiht

Sie haben in der Vergangenheit große Objektspeicher mit hohen Abrufraten verwaltet. Sie kennen den Unterschied zwischen Infrastruktur, die theoretisch funktioniert, und Infrastruktur, die funktioniert, wenn Forscher darauf angewiesen sind.

Sie haben wahrscheinlich:

• Starke Kenntnisse in Python und Erfahrung mit verschiedenen Dateisystemen für datenintensive Manipulation und Analyse.
• Erfahrung im Aufbau zuverlässiger und skalierbarer Datenlader für maschinelles Lernen.
• Tiefes Wissen über Cloud-Objektspeicher und die Herausforderungen, die damit einhergehen.
• Praktische Vertrautheit mit Cloud-Objektspeichern wie S3 und Azure Blob Storage, Cloud-Plattformen (AWS, GCP oder Azure) und Slurm/HPC-Umgebungen für verteilte Datenverarbeitung.
• Speicherinfrastruktur im PB-Maßstab erstellt und verwaltet.
• Mit großangelegten Bild- und Videodaten gearbeitet.

Worauf wir hinarbeiten

Wir warten nicht nur auf die Infrastruktur - wir bauen das rechnerische Fundament, das bestimmt, welche Forschung möglich ist. Wir entwerfen Systeme, die alle zukünftigen Trainings- und Datenverarbeitungsprozesse antreiben werden. Wenn sich das überzeugender anhört, als bestehende Systeme am Laufen zu halten, sollten wir sprechen.