Senior Storage & Data Engineer

Das Swiss National Supercomputing Centre (CSCS) entwickelt und betreibt eine Hochleistungsrechen- und Datenforschungsinfrastruktur, die erstklassige Wissenschaft in der Schweiz unterstützt. Das Nutzerlabor steht inländischen und internationalen Forschern aus der Wissenschaft, Industrie und dem Geschäftssektor zur Verfügung. Das Zentrum wird von der ETH Zürich betrieben und hat Büros in seinem Rechenzentrum in Lugano und in Zürich.

Für diese Position ist der Arbeitsort entweder Lugano oder Zürich. Der Vertrag ist auf zwei Jahre befristet.

Projekt Hintergrund

Das Speichern von Petabytes ist der einfache Teil. Der schwierige Teil ist alles zwischen dem Moment, in dem Daten auf der Festplatte landen, und dem Moment, in dem ein Forscher – oder ein Trainingsjob – sie tatsächlich vertrauen, finden und nutzen kann.

Unsere parallelen Dateisysteme und Objektspeicher bewegen Daten bereits schnell. Was sie jedoch nicht von selbst tun, ist, einem Wissenschaftler zu sagen, woher ein Datensatz stammt, welche Transformationen ihn erzeugt haben, ob es sich um die Version handelt, die das Ergebnis des letzten Quartals unterstützt hat, oder wie man ihn an einen DataLoader übergibt, ohne das I/O-Subsystem zu überlasten. Diese Lücke – zwischen rohen Bytes und nutzbaren, nachvollziehbaren, reproduzierbaren Daten – ist der Bereich, in dem diese Rolle angesiedelt ist.

Sie werden an beiden Enden arbeiten: der Speicherebene (Durchsatz, Integrität, Tiering im Multi-Petabyte-Maßstab) und der darüber liegenden Datenebene (Herkunft, Nachvollziehbarkeit, Auffindbarkeit, Zugriffsverhalten). Wenn Sie jemals genervt waren, dass "die Daten sind im Cluster" als das Ende der Arbeit behandelt wird, anstatt als deren Anfang, lesen Sie weiter.

• Datenaufnahme und -nutzung: Entwerfen Sie die Pipelines und Metadaten, die aufgenommene Daten in etwas Findbares und Verbrauchbares verwandeln – Kataloge, Schemata und Zugriffsebenen, die mit der Art und Weise übereinstimmen, wie Trainingsjobs und Simulationen tatsächlich lesen, nicht nur wo Bytes sitzen.
• Daten nachvollziehbar machen: Erstellen Sie Herkunft und Nachvollziehbarkeit, sodass jeder Datensatz, Checkpoint oder jedes Ergebnis auf seine Eingaben und Transformationen zurückverfolgt werden kann. Reproduzierbarkeit ist hier ein erstklassiges Anliegen, kein nachträglicher Einbau.
• Für die Arbeitslast optimieren: Optimieren Sie parallele Dateisysteme (Lustre, GPFS) und Objektspeicher für die Parallelität, kleine Dateien und große Checkpoint-Muster verteilter GPU-Trainings und HPC-Simulationen.
• Skalierbar und sicher betreiben: Entwerfen und betreiben Sie Multi-Petabyte-Speicher mit der Integrität und Verfügbarkeit, auf die wissenschaftliche Arbeiten angewiesen sind – Fehlerkorrektur, Redundanz, Hot-to-Archival-Tiering.
• Alles automatisieren: Bereitstellen und Skalieren von Speicher- und Datendiensten als Code. Snowflake-Infrastruktur überlebt nicht in diesem Maßstab.
• Beobachtbar machen: Instrumentieren Sie die Gesundheit des Speichers, Kapazitätstrends und Pipeline-Leistung, damit Probleme auftauchen, bevor die Benutzer sie spüren.
• Übersetzen: Wandeln Sie reale Zugriffsverhalten von Fachwissenschaftlern und ML-Ingenieuren in technische Anforderungen um – und wehren Sie sich, wenn eine Anfrage etwas downstream leise kaputtmachen würde.

Für ein Projekt im Bereich Wetter und Klima, das darauf abzielt, die Auswirkungen des Klimawandels zu verstehen und zu mindern, ist eine Stelle für zwei Jahre verfügbar.

Der anfängliche zweijährige Vertrag könnte potenziell verlängert oder sogar unbefristet werden.

Profil

• Ein technischer Abschluss (Informatik, Ingenieurwesen) oder gleichwertige Erfahrung, die dieselbe Tiefe demonstriert.
• Solide Kenntnisse im Bereich Speicherung: Dateisysteme (Block und Objekt), Leistungstuning, Redundanz (RAID, Fehlerkorrektur).
• Python und die Fähigkeit, Infrastruktur zu automatisieren (Ansible, Terraform oder ähnliches).
• Ein grundlegendes Verständnis dafür, wie ML- und wissenschaftliche Arbeitslasten Daten konsumieren – Milliarden kleiner Dateien, große Checkpoints, Sharding – und warum naive Layouts scheitern.
• Eine Sichtweise zu Datenherkunft, Nachvollziehbarkeit oder Reproduzierbarkeit – und idealerweise Werkzeuge, die Sie verwendet haben, um dies durchzusetzen.

Was Ihnen hilft, herauszustechen:

• Praktische Erfahrungen mit parallelen Dateisystemen (Lustre, Spectrum Scale/GPFS) oder verteiltem Speicher (Ceph, VAST).
• Wissenschaftliche Datenformate – HDF5, Zarr, Parquet – und Meinungen dazu, wann jedes seinen Platz verdient.
• Objektspeicher (S3), der mit ML-Frameworks (PyTorch, TensorFlow) verbunden ist.
• Orchestrierung (Kubernetes, Argo) und Werkzeuge zur Datenbewegung.
• Datenversionierung / Katalogisierung (z.B. DVC, lakeFS, ein Metadatenkatalog) und Vertrautheit mit FAIR-Datenprinzipien.
• CI/CD und Bereitstellung: GitLab CI, HashiCorp Vault, MAAS.

Wir erwarten nicht, dass jede Box abgehakt wird. Tiefe in der Speicherung oder Datenengineering sowie die Neugier, in das andere hineinwachsen zu wollen, sind wichtiger als eine vollständige Checkliste.

Was Sie bekommen:

• Hardware und Maßstäbe, die Sie in der Unternehmens-IT nicht finden – und Probleme ohne Handbuch des Anbieters.
• Arbeit, die direkt veröffentlichte Wissenschaft und Modelltraining auf Grenzskala ermöglicht.
• Spielraum, um zu gestalten, wie Daten verwaltet werden, nicht nur gewartet, in einer Umgebung, die dies ernst nimmt.

Wir setzen uns dafür ein, ein diverses und inklusives Ingenieurteam aufzubauen und ermutigen insbesondere Bewerbungen von Gruppen, die in der Technik unterrepräsentiert sind. Wenn Sie technisch versiert, neugierig und bereit sind zu wachsen, möchten wir von Ihnen hören.

Wir bieten

• Ihr Job mit Einfluss: Werden Sie Teil der ETH Zürich, die nicht nur Ihre berufliche Entwicklung unterstützt, sondern auch aktiv zu positiven Veränderungen in der Gesellschaft beiträgt.
• Sie können sich auf ein spannendes Arbeitsumfeld, kulturelle Vielfalt und attraktive Angebote und Vorteile freuen.
• Wir schätzen die Vielfalt unseres Teams und ermutigen insbesondere Frauen, sich zu bewerben, um die Vielfalt unserer Belegschaft weiter zu erhöhen.

Im Einklang mit unseren Werten fördert die ETH Zürich eine inklusive Kultur. Wir setzen uns für Chancengleichheit ein, schätzen Vielfalt und pflegen ein Arbeits- und Lernumfeld, in dem die Rechte und Würde aller Mitarbeiter und Studierenden respektiert werden. Besuchen Sie unsere Website zu Chancengleichheit und Vielfalt, um zu erfahren, wie wir ein faires und offenes Umfeld gewährleisten, das es jedem ermöglicht, zu wachsen und zu gedeihen. Nachhaltigkeit ist ein Kernwert für uns – wir arbeiten konsequent auf eine klimaneutrale Zukunft hin.

Neugierig? Wir auch.

Unsere Kernwerte als Leitprinzipien:

• Neugier: Sie genießen es, zu lernen und Systeme tief zu verstehen.
• Offenheit: Sie arbeiten effektiv zusammen und schätzen unterschiedliche Perspektiven.
• Mut: Sie sind bereit, schwierige oder unbekannte Probleme anzugehen.
• Unterstützend: Sie helfen Kollegen und Benutzern, erfolgreich zu sein.
• Integrität: Sie handeln verantwortungsbewusst, zuverlässig und transparent.