Senior Storage & Data Engineer

Das Swiss National Supercomputing Centre (CSCS) entwickelt und betreibt eine Hochleistungsrechen- und Datenforschungsinfrastruktur, die erstklassige Wissenschaft in der Schweiz unterstützt. Das Nutzerlabor steht inländischen und internationalen Forschern aus Wissenschaft, Industrie und Wirtschaft zur Verfügung. Das Zentrum wird von der ETH Zürich betrieben und hat Büros in seinem Rechenzentrum in Lugano und in Zürich. Für diese Position ist der Arbeitsort entweder Lugano oder Zürich. Der Vertrag ist auf zwei Jahre befristet.

Die Speicherung von Petabytes ist der einfache Teil. Der schwierige Teil ist alles zwischen dem Moment, in dem Daten auf der Festplatte landen, und dem Moment, in dem ein Forscher oder ein Trainingsjob sie tatsächlich vertrauen, finden und nutzen kann. Unsere parallelen Dateisysteme und Objektspeicher bewegen Daten bereits schnell. Was sie jedoch nicht von selbst tun, ist, einem Wissenschaftler zu sagen, woher ein Datensatz stammt, welche Transformationen ihn erzeugt haben, ob es sich um die Version handelt, die das Ergebnis des letzten Quartals unterstützt hat, oder wie man ihn an einen DataLoader übergibt, ohne das I/O-Subsystem zu überlasten. Diese Lücke – zwischen rohen Bytes und nutzbaren, nachvollziehbaren, reproduzierbaren Daten – ist der Bereich, in dem diese Rolle angesiedelt ist.

Sie werden an beiden Enden arbeiten: der Speicherebene (Durchsatz, Integrität, Tiering im Multi-Petabyte-Maßstab) und der darüber liegenden Datenebene (Herkunft, Nachvollziehbarkeit, Auffindbarkeit, Zugriffsverhalten). Wenn Sie jemals genervt waren, dass "die Daten sind im Cluster" als das Ende des Jobs behandelt wird, anstatt als dessen Anfang, lesen Sie weiter.

• Datenaufnahme und -nutzung verbinden: Entwerfen Sie die Pipelines und Metadaten, die aufgenommene Daten in etwas Auffindbares und Verbrauchbares verwandeln – Kataloge, Schemata und Zugriffsebenen, die mit der Art und Weise übereinstimmen, wie Trainingsjobs und Simulationen tatsächlich lesen, nicht nur wo Bytes sitzen.
• Daten nachvollziehbar machen: Erstellen Sie Herkunft und Nachvollziehbarkeit, sodass jeder Datensatz, Checkpoint oder jedes Ergebnis auf seine Eingaben und Transformationen zurückverfolgt werden kann. Reproduzierbarkeit ist hier ein erstklassiges Erfordernis, kein Nachrüstungsbedarf.
• Für die Arbeitslast optimieren: Optimieren Sie parallele Dateisysteme (Lustre, GPFS) und Objektspeicher für die Parallelität, kleine Dateien und große Checkpoint-Muster von verteiltem GPU-Training und HPC-Simulation.
• In großem Maßstab sicher betreiben: Entwerfen und betreiben Sie Multi-Petabyte-Speicher mit der Integrität und Verfügbarkeit, auf die wissenschaftliche Arbeiten angewiesen sind – Fehlerkorrektur, Redundanz, Hot-to-Archival-Tiering.
• Alles automatisieren: Bereitstellung und Skalierung von Speicher- und Datendiensten als Code. Snowflake-Infrastruktur überlebt nicht in diesem Maßstab.
• Beobachtbar machen: Instrumentieren Sie die Speicherintegrität, Kapazitätstrends und Pipeline-Leistung, damit Probleme auftauchen, bevor die Benutzer sie spüren.
• Übersetzen: Wandeln Sie reale Zugriffsverhalten von Fachwissenschaftlern und ML-Ingenieuren in technische Anforderungen um – und wehren Sie sich, wenn eine Anfrage leise etwas downstream brechen würde.

Für ein Projekt im Bereich Wetter und Klima, das darauf abzielt, die Auswirkungen des Klimawandels zu verstehen und zu mindern, ist eine Stelle für zwei Jahre verfügbar. Der anfängliche zweijährige Vertrag könnte potenziell verlängert oder sogar dauerhaft werden.

Anforderungen:

• Ein technischer Abschluss (Informatik, Ingenieurwesen) oder gleichwertige Erfahrung, die dieselbe Tiefe demonstriert.
• Solide Kenntnisse in der Speicherung: Dateisysteme (Block und Objekt), Leistungstuning, Redundanz (RAID, Fehlerkorrektur).
• Python und Komfort bei der Automatisierung von Infrastruktur (Ansible, Terraform oder ähnliches).
• Ein grundlegendes Verständnis dafür, wie ML- und wissenschaftliche Arbeitslasten Daten konsumieren – Milliarden kleiner Dateien, große Checkpoints, Sharding – und warum naive Layouts scheitern.
• Eine Meinung zu Datenherkunft, Nachvollziehbarkeit oder Reproduzierbarkeit – und idealerweise Werkzeuge, die Sie verwendet haben, um dies durchzusetzen.

Was Ihnen hilft, herauszustechen:

• Praktische Erfahrungen mit parallelen Dateisystemen (Lustre, Spectrum Scale/GPFS) oder verteiltem Speicher (Ceph, VAST).
• Wissenschaftliche Datenformate – HDF5, Zarr, Parquet – und Meinungen dazu, wann jedes seinen Platz verdient.
• Objektspeicher (S3), der mit ML-Frameworks (PyTorch, TensorFlow) verbunden ist.
• Orchestrierung (Kubernetes, Argo) und Werkzeuge zur Datenbewegung.
• Datenversionierung / Katalogisierung (z.B. DVC, lakeFS, ein Metadatenkatalog) und Vertrautheit mit FAIR-Datenprinzipien.
• CI/CD und Bereitstellung: GitLab CI, HashiCorp Vault, MAAS.

Wir erwarten nicht, dass jede Box abgehakt wird. Tiefe in der Speicherung oder Datenengineering sowie die Neugier, in das andere hineinwachsen zu wollen, sind wichtiger als eine vollständige Checkliste.

Vorteile:

• Hardware und Maßstab, die Sie in der Unternehmens-IT nicht finden – und Probleme ohne Handbuch des Anbieters.
• Arbeit, die direkt veröffentlichte Wissenschaft und Modelltraining auf Grenzskala ermöglicht.
• Spielraum, um zu gestalten, wie Daten verwaltet werden, nicht nur gewartet, in einer Umgebung, die dies ernst nimmt.

Unsere Kernwerte als Leitprinzipien:

• Neugier: Sie genießen es, Systeme tief zu lernen und zu verstehen.
• Offenheit: Sie arbeiten effektiv zusammen und schätzen unterschiedliche Perspektiven.
• Mut: Sie sind bereit, schwierige oder unbekannte Probleme anzugehen.
• Unterstützend: Sie helfen Kollegen und Benutzern, erfolgreich zu sein.
• Integrität: Sie handeln verantwortungsbewusst, zuverlässig und transparent.

Wir setzen uns dafür ein, ein diverses und inklusives Ingenieurteam aufzubauen und ermutigen insbesondere Bewerbungen von Gruppen, die in der Technik unterrepräsentiert sind. Wenn Sie technisch versiert, neugierig und bereit sind zu wachsen, möchten wir von Ihnen hören.

Jobimpact: Werden Sie Teil der ETH Zürich, die nicht nur Ihre berufliche Entwicklung unterstützt, sondern auch aktiv zu positiven Veränderungen in der Gesellschaft beiträgt. Sie können zahlreiche Vorteile erwarten, wie z.B. öffentliche Verkehrstickets und Carsharing, ein breites Sportangebot des ASVZ, Kinderbetreuung und attraktive Pensionsleistungen. Wir schätzen die Vielfalt unseres Teams und ermutigen insbesondere Frauen zur Bewerbung.