Senior Storage & Data Engineer80%-100%, Lugano, fixed-term

Das Swiss National Supercomputing Centre (CSCS) entwickelt und betreibt eine Hochleistungsrechen- und Datenforschungsinfrastruktur, die erstklassige Wissenschaft in der Schweiz unterstützt. Das Nutzerlabor steht inländischen und internationalen Forschern aus der Wissenschaft, Industrie und dem Geschäftssektor zur Verfügung. Das Zentrum wird von der ETH Zürich betrieben und hat Büros in seinem Rechenzentrum in Lugano und in Zürich. Der Arbeitsort für diese Position ist entweder Lugano oder Zürich. Der Vertrag ist auf zwei Jahre befristet.

Projekt Hintergrund

Die Speicherung von Petabytes ist der einfache Teil. Der schwierige Teil ist alles zwischen dem Moment, in dem Daten auf der Festplatte landen, und dem Moment, in dem ein Forscher – oder ein Trainingsjob – sie tatsächlich vertrauen, finden und nutzen kann. Unsere parallelen Dateisysteme und Objektspeicher bewegen Daten bereits schnell. Was sie jedoch nicht von selbst tun, ist, einem Wissenschaftler zu sagen, woher ein Datensatz stammt, welche Transformationen ihn erzeugt haben, ob es sich um die Version handelt, die das Ergebnis des letzten Quartals unterstützt hat, oder wie man ihn einem DataLoader zuführt, ohne das I/O-Subsystem zu überlasten. Diese Lücke – zwischen rohen Bytes und nutzbaren, nachvollziehbaren, reproduzierbaren Daten – ist der Bereich, in dem diese Rolle angesiedelt ist.

Aufgaben:

• Brücke zwischen Ingestion und Nutzung schlagen.
• Entwerfen Sie die Pipelines und Metadaten, die ingestierte Daten in etwas Findbares und Verbrauchbares verwandeln – Kataloge, Schemata und Zugriffsschichten, die mit der Art und Weise übereinstimmen, wie Trainingsjobs und Simulationen tatsächlich lesen, nicht nur wo Bytes sitzen.
• Daten nachvollziehbar machen.
• Erstellen Sie Herkunft und Provenienz, damit jeder Datensatz, Checkpoint oder jedes Ergebnis auf seine Eingaben und Transformationen zurückverfolgt werden kann. Reproduzierbarkeit ist hier ein erstklassiges Erfordernis, kein Nachrüstungsbedarf.
• Für die Arbeitslast optimieren.
• Optimieren Sie parallele Dateisysteme (Lustre, GPFS) und Objektspeicher für die Parallelität, kleine Dateien und große Checkpoint-Muster von verteiltem GPU-Training und HPC-Simulation.
• In großem Maßstab sicher arbeiten.
• Entwerfen und betreiben Sie mehrpetabyte Speicher mit der Integrität und Verfügbarkeit, auf die wissenschaftliche Arbeiten angewiesen sind – Fehlerkorrektur, Redundanz, Hot-to-Archival-Tiering.
• Alles automatisieren.
• Bereitstellen und Skalieren von Speicher- und Datendiensten als Code. Snowflake-Infrastruktur überlebt nicht in diesem Maßstab.
• Beobachtbar machen.
• Instrumentieren Sie die Speicherintegrität, Kapazitätstrends und Pipeline-Leistung, damit Probleme auftauchen, bevor die Benutzer sie spüren.
• Übersetzen.
• Verwandeln Sie reale Zugriffsmuster von Fachwissenschaftlern und ML-Ingenieuren in technische Anforderungen – und wehren Sie sich, wenn eine Anfrage leise etwas downstream brechen würde.

Profil:

• Ein technischer Abschluss (Informatik, Ingenieurwesen) oder gleichwertige Erfahrung, die dieselbe Tiefe demonstriert.
• Solide Kenntnisse im Bereich Speicherung: Dateisysteme (Block und Objekt), Leistungstuning, Redundanz (RAID, Fehlerkorrektur).
• Python und Komfort bei der Automatisierung von Infrastruktur (Ansible, Terraform oder ähnliches).
• Ein grundlegendes Verständnis dafür, wie ML- und wissenschaftliche Arbeitslasten Daten konsumieren – Milliarden von kleinen Dateien, große Checkpoints, Sharding – und warum naive Layouts scheitern.
• Eine Meinung zu Datenherkunft, Provenienz oder Reproduzierbarkeit – und idealerweise Werkzeuge, die Sie verwendet haben, um dies durchzusetzen.

Was Ihnen hilft, herauszustechen:

• Praktische Erfahrungen mit parallelen Dateisystemen (Lustre, Spectrum Scale/GPFS) oder verteiltem Speicher (Ceph, VAST).
• Wissenschaftliche Datenformate – HDF5, Zarr, Parquet – und Meinungen dazu, wann jedes seinen Platz verdient.
• Objektspeicher (S3), der mit ML-Frameworks (PyTorch, TensorFlow) verbunden ist.
• Orchestrierung (Kubernetes, Argo) und Datenbewegungswerkzeuge.
• Datenversionierung / Katalogisierung (z.B. DVC, lakeFS, ein Metadatenkatalog) und Vertrautheit mit FAIR-Datenprinzipien.
• CI/CD und Bereitstellung: GitLab CI, HashiCorp Vault, MAAS.

Wir erwarten nicht, dass jede Box abgehakt wird. Tiefe in der Speicherung oder Datenengineering sowie die Neugier, in das andere hineinwachsen zu können, sind wichtiger als eine vollständige Checkliste.

Was Sie erhalten:

• Hardware und Maßstab, die Sie in der Unternehmens-IT nicht finden – und Probleme ohne Handbuch des Anbieters.
• Arbeit, die direkt veröffentlichte Wissenschaft und Modelltraining auf Grenzskala ermöglicht.
• Spielraum, um zu gestalten, wie Daten verwaltet werden, nicht nur gewartet, in einer Umgebung, die es ernst nimmt.

Wir setzen uns dafür ein, ein diverses und inklusives Ingenieurteam aufzubauen und ermutigen insbesondere Bewerbungen von Gruppen, die in der Technik unterrepräsentiert sind. Wenn Sie technisch versiert, neugierig und bereit sind zu wachsen, möchten wir von Ihnen hören.

Wir bieten:

• Ihre Arbeit mit Einfluss: Werden Sie Teil der ETH Zürich, die nicht nur Ihre berufliche Entwicklung unterstützt, sondern auch aktiv zu positiven Veränderungen in der Gesellschaft beiträgt.
• Sie können sich auf ein spannendes Arbeitsumfeld, kulturelle Vielfalt und attraktive Angebote und Vorteile freuen.
• Wir schätzen die Vielfalt unseres Teams und ermutigen insbesondere Frauen zur Bewerbung, um die Vielfalt unserer Belegschaft weiter zu erhöhen.

Im Einklang mit unseren Werten fördert die ETH Zürich eine inklusive Kultur. Wir setzen uns für Chancengleichheit ein, schätzen Vielfalt und pflegen ein Arbeits- und Lernumfeld, in dem die Rechte und Würde aller Mitarbeiter und Studierenden respektiert werden. Nachhaltigkeit ist ein Kernwert für uns – wir arbeiten konsequent auf eine klimaneutrale Zukunft hin.

Neugierig? Wir auch.

Unsere Kernwerte als Leitprinzipien:

• Neugier: Sie genießen es, Systeme tief zu lernen und zu verstehen.
• Offenheit: Sie arbeiten effektiv zusammen und schätzen unterschiedliche Perspektiven.
• Mut: Sie sind bereit, schwierige oder unbekannte Probleme anzugehen.
• Unterstützend: Sie helfen Kollegen und Nutzern, erfolgreich zu sein.
• Integrität: Sie handeln verantwortungsbewusst, zuverlässig und transparent.