Apertus Engineer: Evaluations

Apertus Engineer: Evaluations

Zürich Befristet 80000 - 100000 € / Jahr (geschätzt) Homeoffice (teilweise)
I

Auf einen Blick

  • Aufgaben: Entwickle und betreibe Evaluierungscode und Pipelines für KI-Modelle.
  • Unternehmen: Führende technische Universität mit Zugang zu einem der größten Supercomputer Europas.
  • Vorteile: Attraktive Anstellungsbedingungen, flexible Arbeitszeiten und umfassende Weiterbildungsmöglichkeiten.
  • Weitere Informationen: Dynamisches Umfeld mit hervorragenden Karrieremöglichkeiten und Zusammenarbeit mit führenden Forschern.
  • Warum dieser Job: Arbeite an bahnbrechenden KI-Projekten und beeinflusse die Zukunft der Technologie.
  • Qualifikationen: MSc oder PhD in Informatik oder verwandten Bereichen; starke Python-Kenntnisse erforderlich.

Das prognostizierte Gehalt liegt zwischen 80000 - 100000 € pro Jahr.

Wir suchen einen qualifizierten Ingenieur, der sich dem Apertus-Evaluierungsprojekt anschließt. Der ideale Kandidat wird die Evaluierungscodebasis und -pipelines aufbauen und betreiben, die unsere Trainings- und Veröffentlichungsentscheidungen informieren und die Ergebnisse zwischen Training und Bereitstellung konsistent halten.

Projekt Hintergrund: Wir trainieren offene Grundmodelle mit Hunderten von Milliarden von Parametern auf Tausenden von GPUs auf einem der größten AI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeitingenieuren, die eng mit führenden Forschern von EPFL und ETH Zürich zusammenarbeiten, hat die Modelle Apertus 1 und Apertus 1.5 veröffentlicht und arbeitet mit über dreißig akademischen Partnern zusammen, um vollständig offene (Open-Source), verantwortungsvoll trainierte, mehrsprachige, multimodale KI-Modelle für Forschung und Industrie bereitzustellen. Apertus wird auf Alps, der Supercomputing-Infrastruktur des Schweizerischen Nationalen Supercomputing-Zentrums (CSCS), trainiert und entwickelt.

Die Rolle erfordert jemanden, der sich in einer HPC-Umgebung wohlfühlt und mit Forschern und Infrastruktur-Ingenieuren zusammenarbeitet.

Aufgabenbeschreibung:

  • Die Ingenieure sind verantwortlich für die Evaluierungscodebasis und -pipelines, die Trainingsentscheidungen und Veröffentlichungen informieren.
  • Evaluierungsinfrastruktur: Aufbau und Pflege der Evaluierungscodebasis und -pipelines für Apertus-Modelle, von Checkpoints während des Trainings bis zu veröffentlichten Modellen.
  • Die Evaluierungen schnell und in großem Maßstab durchführen: parallele Ausführung auf Alps, effiziente Nutzung von Inferenz-Backends, Caching und Ergebnisverfolgung.
  • Mismatch zwischen Evaluierungen während des Trainings und während der Bereitstellung reduzieren: konsistente Tokenisierung, Chat-Vorlagen, Aufforderungen und Sampling über Evaluierungs-Harnesse und Inferenz-Engines hinweg.
  • Debugging von Evaluierungsfehlern, Regressionen und Inkonsistenzen über Backends hinweg.
  • Benchmark-Abdeckung: Integration und Durchführung der Evaluierungen, die für das Projekt wichtig sind.
  • Vergleichende und Drittanbieter-Evaluierung: Evaluierung von Drittanbieterdiensten und anderen offenen und geschlossenen Modellen gegen dasselbe Benchmark-Set.
  • Bereitstellung von Evaluierungsergebnissen, Berichten und Dashboards, die Trainingsentscheidungen und Veröffentlichungsentscheidungen unterstützen.

Profil:

  • Erforderlich: MSc oder PhD in Informatik, Datenwissenschaft, Künstlicher Intelligenz, Maschinellem Lernen oder einem verwandten Bereich.
  • Starke Python- und Softwareengineering-Fähigkeiten, einschließlich Erfahrung im Aufbau robuster Daten- oder Evaluierungspipelines.
  • Erfahrung mit LLM-Evaluierung: etablierte Harnesse oder benutzerdefinierte Benchmark-Tools.
  • Starke Zusammenarbeit und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs- und Ingenieurteams hinweg zu arbeiten.
  • Ein hohes Maß an Flexibilität: Prioritäten, Werkzeuge und tägliche Aufgaben ändern sich mit Trainingsplänen, Veröffentlichungen und einem sich schnell bewegenden Feld.

Wir bieten:

  • Eine stimulierende akademische Umgebung an einer der weltweit führenden technischen Universitäten.
  • Zugang zu Alps, einem der größten AI-fähigen Supercomputer in Europa.
  • Die Möglichkeit, mit führenden Forschern auf diesem Gebiet zusammenzuarbeiten.
  • Attraktive Beschäftigungsbedingungen und umfassende Vorteile, einschließlich der Pensionspläne von ETH Zürich/EPFL.
  • Flexible Arbeitsbedingungen, einschließlich Optionen für Remote-Arbeit.
  • Berufliche Entwicklungsmöglichkeiten, einschließlich Konferenzbesuchen und spezialisierter Schulungen.

Apertus Engineer: Evaluations Arbeitgeber: Immigration Policy Lab

Die Immigration Policy Lab in Zürich ist ein hervorragender Arbeitgeber, der Ihnen die Möglichkeit bietet, in einem dynamischen und unterstützenden Umfeld zu arbeiten. Unsere Forschungsstation Früebüel fördert nicht nur Ihre berufliche Weiterentwicklung durch gezielte Schulungen und Workshops, sondern bietet auch attraktive Vorteile wie ÖV-Abonnemente und Car Sharing, um Ihre Work-Life-Balance zu unterstützen. Werden Sie Teil eines engagierten Teams, das sich leidenschaftlich für innovative landwirtschaftliche Lösungen einsetzt.

I

Kontaktdaten:

Immigration Policy Lab Recruiting-Team

StudySmarter Expertenrat🤫

Wir sind der Meinung, dass du so Apertus Engineer: Evaluations erhalten könntest

Zeig dein Können in Data Science Wettbewerben!

Nimm an Wettbewerben wie Kaggle oder DrivenData teil. Dort kannst du deine Fähigkeiten in der Datenanalyse und im maschinellen Lernen unter Beweis stellen, was dir nicht nur praktische Erfahrungen bietet, sondern auch deine Sichtbarkeit in der Branche erhöht.

Nutze lokale Data Science Meetups!

Schau dir lokale Meetups und Networking-Events an, die sich auf Data Science fokussieren. Dort kannst du Gleichgesinnte treffen, dein Netzwerk erweitern und möglicherweise Kontakte knüpfen, die dir zu einem befristeten Job helfen könnten.

Hebe deine Projekte hervor!

Wenn du bereits an Projekten gearbeitet hast, sei es im Studium oder privat, präsentiere sie auf Plattformen wie GitHub. Das zeigt zukünftigen Arbeitgebern nicht nur dein Können, sondern auch deine Leidenschaft für Data Science.

Bewerbungen über unsere Website!

Vergiss nicht, dich direkt über unsere Website bei Immigration Policy Lab zu bewerben! Dort hast du die besten Chancen, gesehen zu werden und wir freuen uns immer über neue Talente in unserem Team.

Wir glauben, dass du diese Fähigkeiten brauchst, um Apertus Engineer: Evaluations mit Bravour zu bestehen

Python
Software Engineering
LLM Evaluation
Data Pipelines
Collaboration
Communication Skills
GPU Clusters

Einige Tipps für deine Bewerbung 🫡

Daten, Daten, Daten!:In der Datenwissenschaft kommt es darauf an, wie gut du mit Daten umgehst. Vergiss nicht, in deinem Lebenslauf Projekte oder Arbeiten zu erwähnen, bei denen du Daten analysiert oder Modelle entwickelt hast. Verwende auch spezifische Tools oder Programmiersprachen, die du bereits benutzt hast, wie Python oder R – das beeindruckt sicher!

Zeig uns deinen Code!:Wenn du ein paar coole Projekte oder Forschungsarbeiten hast, vielleicht sogar auf GitHub, wäre jetzt der perfekte Moment, das zu zeigen! Gerade bei einer befristeten Stelle ist es wichtig, dass du einen Nachweis über deine Fähigkeiten liefern kannst. Ein Portfolio oder Links zu deinen Arbeiten machen einen riesigen Unterschied.

Begeisterung ist der Schlüssel!:In deinem Anschreiben kannst du zeigen, wie sehr du für den Job brennst. Erkläre, warum du dich für die befristete Stelle bei Immigration Policy Lab interessierst, und was du in dieser Zeit lernen und beitragen möchtest. Das zeigt nicht nur deine Motivation, sondern auch, dass du dir Gedanken über das Team und das Unternehmen gemacht hast.

Klar kommunizieren!:Datenwissenschaftler müssen oft ihre Ergebnisse einfach und klar kommunizieren. Achte darauf, dass dein Anschreiben und Lebenslauf strukturiert und übersichtlich sind. Das hilft nicht nur dir, sondern zeigt auch Immigration Policy Lab, dass du in der Lage bist, komplexe Informationen verständlich zu präsentieren.

Wie man sich auf ein Vorstellungsgespräch bei Immigration Policy Lab vorbereitet

Mach dich mit den wichtigsten Tools vertraut

Im Data-Science-Bereich sind Kenntnisse in Tools wie Python, R und SQL absolut entscheidend. Sei bereit, während des Interviews konkrete technische Fragen zu diesen Tools zu beantworten oder sogar kleine Aufgaben zu lösen. Zeig, dass du die Funktionsweise dieser Technologien wirklich verstehst und anwenden kannst.

Präsentation deiner Projekte

Da es sich um eine befristete Stelle handelt, solltest du dein Portfolio oder deine bisherigen Projekte gut im Blick haben. Bereite eine kurze Präsentation deiner Arbeit vor – gehe auf die Problemstellung, deine Herangehensweise und die Ergebnisse ein. Zeig, was du gelernt hast und wie du dieses Wissen in die neue Rolle einbringen kannst.

Verstehe die Daten, die du analysierst

Interviewer im Bereich Data Science wollen oft überprüfen, wie gut du die verschiedenen Datentypen und deren Anwendung verstehst. Sei darauf vorbereitet, Szenarien zu diskutieren, in denen du bestimmte Datenquellen analysiert oder bereinigt hast. Das zeigt nicht nur technisches Know-how, sondern auch analytisches Denken.

Fragen zur Teamarbeit und Projekterfahrung

Befristete Stellen bedeuten oft, dass du in einem dynamischen Team arbeiten wirst. Sei bereit, Fragen zu deiner Teamarbeit und deinen Erfahrungen in Projekten zu beantworten. Erzähl, wie du Herausforderungen in der Zusammenarbeit gemeistert hast und welche Rolle du im Team übernommen hast.