Research Software Engineer – User Configurable AI-Ready Datasets

Wir suchen einen Research Software Engineer (A2), der an der Entwicklung von Dateninfrastrukturdiensten zur Unterstützung von Machine Learning (ML) Bemühungen im Rahmen der Destination Earth (DestinE) Initiative der Europäischen Union arbeitet. ECMWF produziert weltweit führende wissenschaftliche Datensätze. Diese mit den zahlreichen Nutzern auf der ganzen Welt zu verbinden, ist eine herausfordernde, aber äußerst wertvolle Mission.

Die Nutzungsmuster von Daten haben sich schneller verändert als je zuvor, was erheblich durch das explosive Wachstum der Nutzung und des Trainings von KI-Modellen vorangetrieben wurde, während die Auflösung und Vielfalt der Daten ständig zunimmt. In dieser Welt sind neuartige Ansätze entscheidend, um Datensätze einem breiteren Publikum und für eine breitere Palette von Anwendungen zugänglich zu machen.

ECMWF hat eine Reihe neuer Technologien für den Zugriff auf meteorologische Daten entwickelt. Kürzlich haben wir Zarr-FDB entwickelt – ein Prototyp-System zur Erstellung von On-Demand, benutzerdefinierten Ansichten von Daten, die in unseren indizierten Datenspeichern (dem FDB) gespeichert sind. Dies ermöglicht die Erstellung benutzerdefinierter Ansichten gemäß wissenschaftlich sinnvollen Beschreibungen, die direkt für Datenexploration, Visualisierung, Datenwissenschaft und ML-Training verwendet werden können.

In dieser Rolle werden Sie Lösungen erkunden und innovieren, um Daten und verwandte Dienste zu verbessern, um die wissenschaftliche und technische Entwicklung von ML-Modellen und -Verarbeitungen für die digitalen Zwillinge von DestinE zu unterstützen. Sie werden Werkzeuge und Workflows entwickeln, um beim Zusammenstellen und effizienten Bereitstellen von Datensätzen für das ML-Training und die resultierenden meteorologischen Ausgaben zu helfen.

Sie werden die Möglichkeit haben und erwartet werden, kreative Lösungen für den Umgang mit großen Datensätzen über mehrere Datenzentren hinweg zu bringen. Dies wird die Umsetzung der Zarr-FDB-Prototypfunktionalität als benutzerorientierten Dienst umfassen – in Zusammenarbeit mit unserem Produktionsteam, den Eigentümern benutzerorientierter Dienste, Infrastruktur-Anbietern und Forschern, um eine robuste, beobachtbare, leistungsfähige und vor allem nützliche Fähigkeit aufzubauen.

Sie werden im Data Management Services Team der Entwicklungsabteilung des ECMWF Forecast and Services Department arbeiten. Wir entwickeln robuste und leistungsfähige Software und Dienste, um große Mengen meteorologischer Daten zu verarbeiten und zu manipulieren. Diese Software wird intensiv in den Operationen, der Forschung, Projekten und Initiativen von ECMWF genutzt, durch alle Phasen unserer Workflows, von der Erfassung von Beobachtungen über Modellausgaben auf dem HPC bis hin zu Archivierung und Verbreitung, und in einer Vielzahl von Kontexten, von HPC über dedizierte Speicherinfrastrukturen bis hin zu Cloud-Systemen.

Wir legen besonderen Wert auf einen semantischen Ansatz zur Datenverarbeitung, sodass die technischen Realitäten der Datenverarbeitung von der wissenschaftlichen Software abstrahiert werden. Wir investieren erhebliche Anstrengungen, um die Skalierbarkeitsherausforderungen zu bewältigen, die durch zukünftige Modellupgrades entstehen, und um neue Technologien und Ansätze für die Zukunft zu erkunden. Dies unterstützt die Strategie von ECMWF, bahnbrechende Wissenschaft und weltweit führende Wettervorhersagen sowie die Überwachung des Erdsystems zu produzieren, und das Ziel von DestinE, die Technologie digitaler Zwillinge zu operationalisieren.

Zusammenfassend werden Sie zukunftssichere Datenzugriffe entwickeln, unsere ML-Bemühungen und unsere externen Nutzer mit maßgeschneidertem, leistungsstarkem, skalierbarem, semantisch gesteuertem Datenzugriff unterstützen. Diese Rolle wird durch die Destination Earth Initiative finanziert und arbeitet eng mit anderen Aktivitäten unserer Mitgliedstaaten sowie mit unseren Partnern ESA und EUMETSAT zusammen.