Research Engineer COMPL-AI

Das Secure, Reliable, and Intelligent Systems (SRI) Lab ist eine Forschungsgruppe im Department of Computer Science an der ETH Zürich. Unser aktueller Forschungsschwerpunkt liegt auf den Bereichen zuverlässiges, sicheres, robustes und faires maschinelles Lernen, große Sprachmodelle, probabilistische und Quantenprogrammierung sowie maschinelles Lernen für Code.

Wir suchen Forschungsingenieure, um SOTA-Benchmarks in den Code zu integrieren, Dokumentation hinzuzufügen und die Benutzerfreundlichkeit der Benchmark-Suite zu verbessern, mit dem übergeordneten Ziel, die Akzeptanz und Integration innerhalb eines breiteren GenAI-Compliance- und Evaluationsökosystems zu fördern. Diese Rolle als Forschungsingenieur beginnt mit einem 4-monatigen Vertrag, mit der Möglichkeit, um ein weiteres Jahr zu verlängern.

Projekt Hintergrund: AI-Sicherheit und Compliance sind grundlegend, um sicherzustellen, dass Systeme der künstlichen Intelligenz (KI) sicher und mit gesellschaftlichen Werten in Einklang stehen. COMPL-AI ist das weltweit erste Open-Source-Compliance-zentrierte Evaluierungsframework für generative KI-Modelle und ermöglicht es Unternehmen und Nutzern weltweit, zu verstehen, wie ihre Modelle im Vergleich zum EU AI Act abschneiden. Das Open-Source-Framework umfasst eine Benchmark-Suite mit 27 state-of-the-art Benchmarks und einer Evaluierungsengine.

Als Forschungsingenieur umfassen Ihre Hauptverantwortlichkeiten die Entwicklung, das Testen, die Wartung und den Beitrag zum GitHub COMPL-AI Benchmark-Suite-Code. Sie werden auch damit beauftragt, relevante öffentliche SOTA-Benchmarks zu integrieren, sobald sie verfügbar sind, um die Abdeckung der Anforderungen des EU AI Act zu erhöhen. Darüber hinaus werden Sie mit Forschern an der ETH Zürich und LatticeFlow AI zusammenarbeiten, um neue Funktionen und Fähigkeiten zu definieren. Außerdem arbeiten Sie mit dem breiteren Evaluierungsökosystem zusammen, um die Interoperabilität und Integration mit bestehenden Tools zu verbessern. Auf dem Laufenden zu bleiben über die neuesten LLM-Evaluierungsforschungen, Branchentrends und LLMOps wird ebenfalls ein wichtiger Aspekt Ihrer Rolle sein.

Profil:

• Bevorzugt einen BSc/MSc in Informatik, Ingenieurwesen, Mathematik oder einem verwandten technischen/wissenschaftlichen Bereich.
• Ein PhD wäre von Vorteil, aber nicht erforderlich.
• Erfahrung und Kenntnisse in Python, Pytorch und die Fähigkeit, sauberen und wartbaren Code zu schreiben.
• Solide theoretische und praktische Kenntnisse im maschinellen Lernen und in der Informatik.
• Starke Kommunikations- und Teamfähigkeiten.
• Frühere Erfahrungen mit LLMOps, LLM-Evaluierung und LLM-Testframeworks (z.B. openAI’s evals, Stanford’s HELM) sind von Vorteil.
• Aktive Beteiligung an der Mitgestaltung oder Durchführung von Open-Source-Projekten ist von Vorteil.
• Die Berechtigung zur Arbeit in der Schweiz ist erforderlich.

Wenn diese Rolle und unsere Mission mit Ihnen übereinstimmen, aber Sie zögern, weil Sie nicht alle Anforderungen erfüllen, lassen Sie sich davon nicht abhalten. Bewerben Sie sich unten, wir würden uns freuen, Sie kennenzulernen und mehr zu besprechen!

Wir bieten:

• Teil eines Schlüsselprojekts zu sein, das zur KI-Sicherheit und -Compliance beiträgt.
• Freiheit, sich mit der breiteren Open-Source-Community und dem Universitätsökosystem zu engagieren.
• Eine intellektuell herausfordernde Tätigkeit mit echtem Einfluss.
• Zusammenarbeit mit Fachexperten und Führungskräften auf ihrem Gebiet.

LatticeFlow ist ein Spin-off der ETH Zürich, einer der besten 10 Universitäten der Welt. Wir schätzen Vielfalt. Im Einklang mit unseren Werten fördert die ETH Zürich eine inklusive Kultur. Wir setzen uns für Chancengleichheit ein, schätzen Vielfalt und pflegen ein Arbeits- und Lernumfeld, in dem die Rechte und die Würde aller Mitarbeiter und Studierenden respektiert werden.

Besuchen Sie unsere Website für Chancengleichheit und Vielfalt, um zu erfahren, wie wir ein faires und offenes Umfeld gewährleisten, das jedem Wachstum und Gedeihen ermöglicht.

Neugierig? So sind wir. Wir freuen uns auf Ihre Online-Bewerbung mit den folgenden Unterlagen: Lebenslauf, Diplome/Abschlüsse, Referenzschreiben. Bitte beachten Sie, dass wir ausschließlich Bewerbungen akzeptieren, die über unser Online-Bewerbungsportal eingereicht werden. Bewerbungen per E-Mail oder Post werden nicht berücksichtigt.

Weitere Informationen über das SRI Lab und LatticeFlow finden Sie auf unseren Websites. Fragen zur Position richten Sie bitte an Dr. Velko Vechev, E-Mail: (keine Bewerbungen).

Die ETH Zürich ist eine der führenden Universitäten der Welt, die sich auf Wissenschaft und Technologie spezialisiert hat. Wir sind bekannt für unsere hervorragende Ausbildung, bahnbrechende Grundlagenforschung und den direkten Transfer neuen Wissens in die Gesellschaft. Über 30.000 Menschen aus mehr als 120 Ländern finden unsere Universität als einen Ort, der unabhängiges Denken fördert und ein Umfeld schafft, das Exzellenz inspiriert. Im Herzen Europas gelegen, knüpfen wir dennoch Verbindungen in die ganze Welt, um gemeinsam Lösungen für die globalen Herausforderungen von heute und morgen zu entwickeln.