AI QA/Testing Lead

Die QA Testing Lead ist verantwortlich für die Qualitätssicherungsstrategie der Agentic ERP-Plattform von Rimini Street und etabliert die erforderlichen Testframeworks, Standards und Prozesse zur Validierung von KI-gesteuerten Systemen in der Produktion. Diese Rolle definiert, wie das Team die Zuverlässigkeit, Genauigkeit und Sicherheit der Plattform über nicht-deterministische Agentenverhalten sicherstellt, mit einem besonderen Fokus darauf, die Vertrauenswürdigkeit der Plattform für SOX-regulierte ERP-Umgebungen zu beweisen.

Berichtend an den VP, Platform Engineering, baut dieser Leiter die QA-Funktion von Grund auf auf – er stellt QA-Ingenieure ein und betreut sie, definiert KI-Bewertungsstrategien mit messbaren Genauigkeitsgrenzen und etabliert Qualitätskontrollen, die schnelle Iterationen mit unternehmensgerechter Zuverlässigkeit in Einklang bringen. Der ideale Kandidat kombiniert umfassende Erfahrung in der QA-Leitung mit einem starken Verständnis dafür, wie man KI- und ML-gesteuerte Systeme testet.

• KI-Bewertungsstrategie & Qualitätskontrollen: Verantwortung für die KI-Bewertungsstrategie: Definition von Bewertungsrubriken, Genauigkeitsgrenzen, Regression-Baselines und Kriterien für Agentenverhalten. Etablierung von Testframeworks und -methoden, die für nicht-deterministische Ausgaben von KI-Agenten geeignet sind, einschließlich statistischer Validierungsansätze und LLM-als-Richter-Bewertungsschemata. Gestaltung von Qualitätskontrollen für die CI/CD-Pipeline, die Standards durchsetzen, ohne die Liefergeschwindigkeit zu blockieren. Definition und Pflege von Testplänen, Testfällen und Rückverfolgbarkeitsmatrizen, die an die Plattformanforderungen angepasst sind. Verantwortung für die Validierung von SOX-konformen Prüfungsnachweisen – Nachweis, dass jede Agentenaktion eine vollständige, unveränderliche Prüfketten erzeugt, die für finanziell regulierte Kundenumgebungen geeignet ist.
• Teamleitung: Aufbau und Leitung des QA-Ingenieurteams für das Ingenieurteam in Malaysia. Mentoring von QA-Ingenieuren in Testmethoden für KI-gesteuerte Systeme. Etablierung von Teamprozessen, Code-Review-Standards für Testautomatisierung und Wissensaustauschpraktiken. Koordination von Testaktivitäten über verteilte Ingenieurteams in Indien, Malaysia und Brasilien.
• Testautomatisierung & Infrastruktur: Vorantreiben der Testautomatisierungsstrategie, Identifizierung von Bereichen mit hohem Wert für automatisierte Abdeckung. Überwachung der Entwicklung automatisierter Testsuiten für API-, UI- und End-to-End-Tests. Gestaltung der Testumgebungsstrategie für die Validierung von Releases, die für getrennte Kundenumgebungen bestimmt sind, in denen die Standard-Cloud-Testinfrastruktur nicht anwendbar ist. Etablierung und Pflege von Testumgebungen, die Produktionskonfigurationen nachbilden. Implementierung von Testdatenmanagementstrategien für komplexe Unternehmensszenarien.
• Qualitätssicherungsoperationen: Verantwortung für die Fehlerverwaltungsprozesse, einschließlich Triage, Priorisierung und Verfolgung der Lösung. Erstellung von Qualitätsmetriken und Dashboards, die Einblick in die Plattformgesundheit geben. Durchführung von Ursachenanalysen bei Produktionsproblemen und Förderung systemischer Verbesserungen. Koordination von Release-Validierungsaktivitäten und Freigabeprozessen. Koordination von Chaos-Engineering-Aktivitäten: Fehlerinjektion in langlebige Workflows, Simulation von Netzwerkpartitionen und Überprüfung von Wiederholungen. Koordination mit Plattformengineering-Teams, um zu validieren, dass die Lieferteams die Plattform-Primitiven korrekt verwenden und sich an etablierte Muster halten.

• Über 8 Jahre Erfahrung in der QA-Technik, davon mindestens 3 Jahre in einer Führungs- oder Managementrolle.
• Nachgewiesene Erfahrung im Aufbau von QA-Teams und der Etablierung von Testprozessen von Grund auf.
• Erfahrung im Testen von KI/ML-Systemen, APIs oder komplexen verteilten Plattformen.
• Erfolgsbilanz bei der Implementierung von Testautomatisierungsframeworks im Unternehmensmaßstab.
• Erfahrung in agilen/Scrum-Entwicklungsumgebungen.
• Hintergrund in Unternehmenssoftware, ERP-Systemen oder B2B-Plattformen bevorzugt.

• Testautomatisierungsframeworks: Pytest, Selenium, Playwright oder Cypress.
• API-Tests: Postman, REST Assured oder gleichwertige Tools.
• API-Vertragstests: Pact oder gleichwertig für Schema-Validierung über Dienstgrenzen hinweg.
• KI-Bewertungstools: LLM-als-Richter-Frameworks, Promptfoo, DeepEval oder gleichwertig für die Regressionstests von Agentenausgaben.
• Python oder JavaScript/TypeScript für Testskripting und Automatisierung.
• CI/CD-Integration: GitHub Actions, Jenkins oder ähnlich.
• Leistungstests: JMeter, Locust, k6 oder ähnlich.
• Chaos-Engineering: Fehlerinjektion, Simulation von Netzwerkpartitionen und Überprüfung von Arbeitsabläufen für verteilte Systeme.
• Testmanagement- und Fehlerverfolgungstools (Jira, TestRail oder gleichwertig).
• Verständnis des Testens von KI/ML-Systemen: Validierung nicht-deterministischer Ausgaben, Bewertungsmetriken und datengestütztes Testen.
• Git-Versionierung und Branch-Management-Strategien.

• Erfahrung mit Angular-Anwendungstests (Angular 14+).
• OpenTelemetry und beobachtungsgetriebenes Testen (Trace-Inspektion, verteilte Kontextweitergabe).
• Vertrautheit mit Snowflake-Testmustern und Datenvalidierung.
• Kenntnisse im Datenbanktesten, einschließlich PostgreSQL.
• Erfahrung mit Lasttests und Kapazitätsplanung für verteilte Systeme.
• Einblicke in Sicherheits-Testmethoden und -tools.

• Qualitätsbewusstsein; versteht, dass KI-Systeme andere Validierungsansätze erfordern als traditionelle Software.
• Starke Führungsfähigkeiten; in der Lage, ein leistungsstarkes QA-Team aufzubauen, zu motivieren und zu halten.
• Analytischer Denker, der Teststrategien entwerfen kann, die die Abdeckung maximieren und Ressourcen effizient nutzen.
• Kollaborativ; arbeitet effektiv mit Ingenieur-, Produkt- und Betriebsteams über geografische Grenzen hinweg.
• Klare Kommunikation; in der Lage, Qualitätsrisiken und Kompromisse gegenüber technischen und nicht-technischen Stakeholdern zu artikulieren.
• Selbstmotiviert und effektiv in einer Remote-Umgebung.
• Fließend in Englisch (schriftlich und mündlich).

• Bachelor- oder Masterabschluss in Informatik, Softwaretechnik oder einem verwandten Bereich.
• ISTQB Advanced oder ähnliche QA-Zertifizierung.
• Erfahrung in Unternehmen für Unternehmenssoftware oder B2B-SaaS-Plattformen.
• Hintergrund im Testen verteilter, ereignisgesteuerter oder Microservices-Architekturen.

• Standort: Hybrid - Büro in Selangor oder Penang.
• Reisen: Minimal; gelegentliche Reisen zu Teammeetings oder Schulungen.
• Sprache: Fließendes Englisch erforderlich (schriftlich und mündlich).

Wir stellen nur die besten, außergewöhnlichsten Fachkräfte ein und bieten Vergütung, Boni und Vorteile, die den Fähigkeiten unserer leistungsstärksten Teammitglieder entsprechen.

Rimini Street verpflichtet sich, ein diverses und integratives Umfeld zu schaffen und ist stolz darauf, ein Arbeitgeber für Chancengleichheit zu sein. Alle qualifizierten Bewerber erhalten unabhängig von Alter, Rasse, Hautfarbe, Religion, nationaler Herkunft, sexueller Orientierung, Geschlecht oder Geschlechtsidentität, Behinderung, geschütztem Veteranenstatus oder einer anderen durch das Gesetz geschützten Eigenschaft Berücksichtigung für eine Anstellung.