Senior Storage & Data Engineer

80%-100%, Lugano, befristetes Projekt

Hintergrund des Projekts

Das Speichern von Petabytes ist der einfache Teil. Der schwierige Teil ist alles, was zwischen dem Moment passiert, in dem Daten auf der Festplatte landen, und dem Moment, in dem ein Forscher - oder ein Trainingsjob - sie tatsächlich vertrauen, finden und nutzen kann. Unsere parallelen Dateisysteme und Objektspeicher bewegen Daten bereits schnell. Was sie jedoch nicht von selbst tun, ist, einem Wissenschaftler zu sagen, woher ein Datensatz stammt, welche Transformationen ihn erzeugt haben, ob es sich um die Version handelt, die das Ergebnis des letzten Quartals unterstützt hat, oder wie man ihn an einen DataLoader übergibt, ohne das I/O-Subsystem zu überlasten. Diese Lücke - zwischen rohen Bytes und nutzbaren, nachvollziehbaren, reproduzierbaren Daten - ist der Bereich, in dem diese Rolle angesiedelt ist.

Sie werden an beiden Enden arbeiten: der Speicherebene (Durchsatz, Integrität, Tiering im Multi-Petabyte-Maßstab) und der darüber liegenden Datenebene (Herkunft, Nachvollziehbarkeit, Auffindbarkeit, Zugriffsverhalten). Wenn Sie jemals genervt waren, dass "die Daten sind im Cluster" als das Ende der Arbeit behandelt wird, anstatt als deren Anfang, lesen Sie weiter.

Wir setzen uns dafür ein, ein diverses und inklusives Ingenieurteam aufzubauen und ermutigen insbesondere Bewerbungen von Gruppen, die in der Technik unterrepräsentiert sind. Wir ermutigen insbesondere Frauen zur Bewerbung.

Stellenbeschreibung

• Brückenaufnahme und -nutzung.
• Entwerfen Sie die Pipelines und Metadaten, die aufgenommene Daten in etwas Auffindbares und Verbrauchbares verwandeln - Kataloge, Schemata und Zugriffsebenen, die mit der Art und Weise übereinstimmen, wie Trainingsjobs und Simulationen tatsächlich lesen, nicht nur wo Bytes sitzen.
• Daten nachvollziehbar machen.
• Erstellen Sie Herkunft und Nachvollziehbarkeit, damit jeder Datensatz, jeder Checkpoint oder jedes Ergebnis auf seine Eingaben und Transformationen zurückverfolgt werden kann. Reproduzierbarkeit ist hier eine erstklassige Anforderung, kein Nachrüstungsbedarf.
• Für die Arbeitslast optimieren.
• Optimieren Sie parallele Dateisysteme (Lustre, GPFS) und Objektspeicher für die Parallelität, kleine Dateien und große Checkpoint-Muster von verteiltem GPU-Training und HPC-Simulation.
• Skalierung sicher betreiben.
• Entwerfen und betreiben Sie Multi-Petabyte-Speicher mit der Integrität und Verfügbarkeit, auf die wissenschaftliche Arbeiten angewiesen sind - Fehlerkorrektur, Redundanz, Hot-to-Archival-Tiering.
• Alles automatisieren.
• Bereitstellen und Skalieren von Speicher- und Datendiensten als Code. Snowflake-Infrastruktur überlebt nicht in diesem Maßstab.
• Beobachtbar machen.
• Instrumentieren Sie die Speicherintegrität, Kapazitätstrends und Pipeline-Leistung, damit Probleme sichtbar werden, bevor die Benutzer sie spüren.
• Übersetzen.
• Verwandeln Sie echte Zugriffsverhalten von Fachwissenschaftlern und ML-Ingenieuren in technische Anforderungen - und wehren Sie sich, wenn eine Anfrage leise etwas downstream brechen würde.

Für ein Projekt im Bereich Wetter und Klima, das darauf abzielt, die Auswirkungen des Klimawandels zu verstehen und zu mindern, ist eine Stelle für zwei Jahre verfügbar. Der anfängliche Zweijahresvertrag könnte potenziell verlängert oder sogar dauerhaft werden.

Profil

• Ein technischer Abschluss (Informatik, Ingenieurwesen) oder gleichwertige Erfahrung, die dieselbe Tiefe demonstriert.
• Solide Kenntnisse im Bereich Speicherung: Dateisysteme (Block und Objekt), Leistungstuning, Redundanz (RAID, Fehlerkorrektur).
• Python und Komfort bei der Automatisierung von Infrastruktur (Ansible, Terraform oder ähnliches).
• Ein grundlegendes Verständnis dafür, wie ML- und wissenschaftliche Arbeitslasten Daten konsumieren - Milliarden von kleinen Dateien, große Checkpoints, Sharding - und warum naive Layouts scheitern.
• Eine Meinung zu Datenherkunft, Nachvollziehbarkeit oder Reproduzierbarkeit - und idealerweise Werkzeuge, die Sie verwendet haben, um dies durchzusetzen.

Was Ihnen hilft, herauszustechen

• Praktische Erfahrungen mit parallelen Dateisystemen (Lustre, Spectrum Scale/GPFS) oder verteiltem Speicher (Ceph, VAST).
• Wissenschaftliche Datenformate - HDF5, Zarr, Parquet - und Meinungen dazu, wann jedes seinen Platz verdient.
• Objektspeicher (S3), der mit ML-Frameworks (PyTorch, TensorFlow) verbunden ist.
• Orchestrierung (Kubernetes, Argo) und Werkzeuge zur Datenbewegung.
• Datenversionierung / Katalogisierung (z.B. DVC, lakeFS, ein Metadatenkatalog) und Vertrautheit mit FAIR-Datenprinzipien.
• CI/CD und Bereitstellung: GitLab CI, HashiCorp Vault, MAAS.

Wir erwarten nicht, dass jede Box abgehakt wird. Tiefe in der Speicherung oder Datenengineering sowie die Neugier, in das andere hineinwachsen zu können, sind wichtiger als eine vollständige Checkliste.

Was Sie erhalten

• Hardware und Skalierung, die Sie in der Unternehmens-IT nicht finden - und Probleme ohne Handbuch des Anbieters.
• Arbeit, die direkt veröffentlichte Wissenschaft und Modelltraining auf Grenzskala ermöglicht.
• Spielraum, um zu gestalten, wie Daten verwaltet werden, nicht nur gewartet, in einer Umgebung, die es ernst nimmt.

Unsere Kernwerte als Leitprinzipien

• Neugier: Sie genießen es, Systeme tief zu lernen und zu verstehen.
• Offenheit: Sie arbeiten effektiv zusammen und schätzen unterschiedliche Perspektiven.
• Mut: Sie sind bereit, schwierige oder unbekannte Probleme anzugehen.
• Unterstützend: Sie helfen Kollegen und Benutzern, erfolgreich zu sein.
• Integrität: Sie handeln verantwortungsbewusst, zuverlässig und transparent.