Senior Test Manager & Quality Engineer 100% (f/m/d)

Bei Julius Baer feiern und schätzen wir die individuellen Qualitäten, die Sie mitbringen, um wirkungsvoll, unternehmerisch und befähigt zu sein und Werte über Wohlstand hinaus zu schaffen. Lassen Sie uns gemeinsam die Zukunft des Vermögensmanagements gestalten.

Schließen Sie sich unserem ML & AI ART als Testmanager & Qualitätsingenieur an, der für das Testen von KI- und ML-Lösungen während ihres gesamten Lebenszyklus verantwortlich ist. Der Fokus liegt auf der Bewertung der Qualität der entwickelten Lösungen bereits in der Entwicklungsphase und der aktiven Rückmeldung/Kollaboration mit den ML-Ingenieurteams. Sie sind der Gatekeeper, bevor eine Lösung zur Bewertung durch das Model Risk Management und auch vor dem Go-Live geht. Sie sind auch verantwortlich für das Testen und die Qualitätssicherung technischer Komponenten, die vom Plattformteam bereitgestellt werden, wie z.B. Modell-APIs, Agentenrepository und andere Komponenten, sowie die Implementierung und Ausführung unserer Testautomatisierungsframeworks, die sowohl traditionelle Softwarekomponenten abdecken.

IHRE HERAUSFORDERUNG

• Sicherstellung der Lieferqualität und ordnungsgemäßen Tests von KI-Anwendungsfällen
• Definition und Weiterentwicklung des technischen Testansatzes und der Framework-Architektur für das ML & AI ART, abgestimmt auf die Teststrategie und Testpolitik der Bank
• Entwicklung wiederverwendbarer, skalierbarer Testmuster (Seitenobjekte, API-Clients, Testdaten-Builder), die von anderen Ingenieuren in verschiedenen Teams übernommen werden können, um die technische Konsistenz der Tests im gesamten ART sicherzustellen
• Analyse und Bewertung von Anforderungen, Features und Stories auf Testbarkeit während der PI-Planung, Backlog-Verfeinerung und Iterationsplanung
• Ableitung von Testfällen aus technischer und Risikoanalyse sowohl funktionaler als auch nicht-funktionaler Anforderungen (Zuverlässigkeit, Leistung, Sicherheit, Benutzerfreundlichkeit, Robustheit), Auswahl geeigneter Testtechniken und Automatisierungsumfang basierend auf Risiko, Abdeckungszielen und ROI
• Automatisierung identifizierter Testfälle mit Python-basierten Frameworks – Playwright-Python für UI, requests + pytest für APIs, Behave oder pytest-bdd für BDD/Gherkin – unter Anwendung von Clean-Code-Prinzipien, Wiederverwendbarkeit, Lesbarkeit und Stabilität
• Entwurf und Implementierung spezifischer Testfälle für KI/ML: Evaluierungspipelines für LLM-Ausgaben
• Integration und Orchestrierung automatisierter Tests in GitLab CI/CD-Pipelines, einschließlich Merge-Request-Pipelines, GitLab-Runner
• Planung, Zeitplanung und Auslösung automatisierter Testausführungen über Umgebungen (DEV, INT, UAT, pre-PROD) einschließlich Regressionstests, Smoke-Tests, Release-Ausführungen und On-Demand-Läufen, die an Merge-Requests und PI-Meilensteine gebunden sind
• Analyse der Ausführungsergebnisse, Meldung von Fehlern in Jira mit Nachweisen (Protokolle, Spuren, Screenshots, Videos) und Kommunikation von Qualitätsindikatoren an das Team und den Product Owner
• Aktive Mitwirkung an PI-Planung, Systemdemos, Inspect & Adapt und anderen SAFe-Zeremonien als Teil des ML & AI ART
• Vorbereitung von Testdaten, wobei sichergestellt wird, dass synthetische oder anonymisierte Daten verwendet werden, wo immer dies möglich ist, um die Vertraulichkeit zu gewährleisten

IHRE QUALIFIKATIONEN

• Praktische Erfahrung in der Integration und Ausführung von Tests für KI-Lösungen und/oder großangelegte Datenprojekte
• Solides Verständnis von Git und Versionskontroll-Workflows, Clean-Code-Prinzipien und Code-Review-Kultur
• Grundkenntnisse in Docker; Vertrautheit mit den Grundlagen von Kubernetes (Jobs, Namespaces)
• Erfahrung im Testen von KI/ML-Systemen oder starke Motivation, diese Expertise zu entwickeln: Evaluierung von LLM-Ausgaben, Umgang mit nicht-deterministischen Antworten, Evaluierungen für RAG und agentische Workflows
• Verständnis von API-Design, Microservices, ereignisgesteuerten Architekturen und Authentifizierungsebenen
• Fundiertes Verständnis von SAFe- und DevOps-Prinzipien; Erfahrung im Betrieb eines Agile Release Train ist von Vorteil
• Erfahrung mit Jira für Story/Feature-Tracking und Testmanagement-Integration (Xray, Agile Hive)
• Nachgewiesenes End-to-End-Denken – Verbindung von Benutzerreisen, Datenflüssen, Authentifizierungsebenen und Systemgrenzen
• Komfortable Arbeit innerhalb einer etablierten Teststrategie, Zusammenarbeit mit Testmanagern bei der Ausführungsplanung, Berichterstattung und Compliance
• Kollaborativer Teamplayer mit starkem Verantwortungsbewusstsein, der Automatisierungsprobleme von der Analyse bis zur Ausführung und Lösung mit minimaler Aufsicht übernimmt
• Abschluss als Bachelor oder Master in Informatik, Ingenieurwesen oder einem verwandten Bereich
• Mindestens 5-7 Jahre Erfahrung mit Daten- und ML-Plattformen sowie deren Qualitätssicherung und/oder Testing mit umfangreicher praktischer Erfahrung in Python, einschließlich nachgewiesener Framework-Entwicklung, Verantwortung und Testausführung im großen Maßstab (nicht nur Skripte)
• Erfahrung in einem regulierten Umfeld (Finanzdienstleistungen, Gesundheitswesen, Pharma) ist stark bevorzugt
• Zertifizierungen in ISTQB (Foundation als Basis) SAFe (SP, SSM oder gleichwertig) oder DevOps-Disziplinen sind von Vorteil
• Erfahrung mit KI/ML-Systemen durch Tests, Entwicklung oder angewandte Projekte ist ein starkes Plus; Bereitschaft, tiefgehende KI/ML-Testexpertise zu entwickeln, ist unerlässlich
• Starke Kommunikationsfähigkeiten, um effektiv mit Ingenieuren, Product Owners und Scrum Masters zu arbeiten
• Gute organisatorische Fähigkeiten, strukturiert und zuverlässig
• Fließend in Englisch; Deutsch ist von Vorteil