Senior Product Manager, AI Agents Testing

Zendesk AI Agents sind vollständig autonome Agenten, die Kundenprobleme von Anfang bis Ende lösen – sie nutzen Wissensdatenbanken, führen mehrstufige Verfahren aus, tätigen Aktionen über APIs und übergeben an Menschen, wenn nötig. Sie arbeiten über Messaging-, E-Mail- und Sprachkanäle und bearbeiten Millionen von Gesprächen für Marken wie Liberty London, Unity und Motel Rocks. Mit zunehmender Fähigkeit und Autonomie dieser Agenten steigen die Risiken jeder Bereitstellungsentscheidung: ein falsch konfiguriertes Verfahren, eine halluzinierte Antwort oder ein fehlerhafter Eskalationspfad können das Vertrauen der Kunden in großem Maßstab untergraben.

Heute fehlen den Administratoren, die diese Agenten konfigurieren und verwalten – CX-Manager, Bot-Builder, Betriebsleiter – die Werkzeuge, um das Verhalten der Agenten vor dem Live-Gang sicher zu testen, die Qualität in der Produktion zu messen oder Änderungen sicher auszuprobieren. Sie werden die End-to-End-Produktstrategie für unsere Test- und Beobachtungs-Suite verantworten – die Schicht, die es Administratoren ermöglicht, Gespräche gegen ihr tatsächliches Wissen und Verfahren zu simulieren, die Qualität der Agenten hinsichtlich Genauigkeit, Ton und Einhaltung von Richtlinien zu bewerten, A/B-Experimente zum Verhalten der Agenten durchzuführen und Regressionen zu erkennen, bevor sie die Endbenutzer erreichen. Dies ist eine strategische Gelegenheit, die direkt bestimmt, ob Unternehmen der agentischen KI in ihren Kundenservice-Operationen vertrauen und sie skalieren können.

Hauptverantwortlichkeiten

• Produktstrategie und Roadmap für das Testen von KI-Agenten besitzen – Simulation, Qualitätsbewertung, Experimentierung, Regressionserkennung und Gesprächsnachverfolgung.
• Tests als integrierte Erfahrung im Builder- und Bereitstellungsfluss bereitstellen.
• Definieren, wie die Simulation End-to-End funktioniert: Szenarien aus realen Gesprächsmustern generieren, automatisierte Pass/Fail-Bewertung und Ergebnisse, die den Administratoren genau zeigen, was kaputt ist und wo.
• Die Experimentierungsebene aufbauen – A/B-Tests des Verhaltens von Agenten, gestaffelte Rollouts mit statistischer Strenge, sichere Iteration von Ton- und Lösungsstrategien.
• Ein Pre-Publish-Readiness-Gate entwerfen, das den Administratoren eine quantifizierte Sicht auf Risiken vor jeder Bereitstellung gibt – spezifische Probleme, Abdeckungsdefizite, Vergleich mit dem aktuellen Produktionsverhalten.
• Mit ML-, QA- und Plattformteams an Bewertungsmethodik, Simulationsinfrastruktur und Nachverfolgungsarchitektur zusammenarbeiten.
• All dies für nicht-technische Administratoren nutzbar machen – CX-Manager, Bot-Builder, Betriebsleiter, die Antworten benötigen, ohne Code schreiben oder Engineering-Tickets einreichen zu müssen.

Erforderliche Qualifikationen

• Mehrere Jahre Erfahrung im Produktmanagement, davon 2+ Jahre in der Entwicklung für nicht-technische Benutzer in komplexen technischen Bereichen (QA-Tools, No-Code-Plattformen, Administrationskonsolen, Workflow-Builder) im B2B SaaS.
• Erfahrung in der Bereitstellung von AI/ML-Produkten, bei denen Bewertung und Zuverlässigkeit echte Anliegen waren, keine nachträglichen Überlegungen.
• Sie verstehen, warum traditionelle Tests für LLM-basierte Systeme nicht funktionieren und haben Meinungen dazu, was funktioniert.
• Fähigkeit, Plattformfähigkeiten über benutzerorientierte Produktoberflächen bereitzustellen – Sie bauen nicht nur Infrastruktur, sondern machen sie auch nutzbar.
• Erfahrung in der Integration erworbener oder angrenzender Produkte in eine einheitliche Erfahrung – Kombination von Fähigkeiten aus verschiedenen Teams, Codebasen oder Organisationen zu etwas, das sich wie ein Produkt anfühlt.
• Nachweisliche Erfolge in der Koordination über 3+ Ingenieurteams und mehrere Abteilungen hinweg, um eine kohärente Produkterfahrung zu liefern.

Bonusqualifikationen

• Erfahrung im Aufbau von Simulationen, synthetischen Daten oder automatisierten Testprodukten.
• Hintergrund in konversationaler KI, Chatbot-Plattformen oder Technologien im Kundenservice.
• Vertrautheit mit LLM-Bewertungsansätzen – Human-in-the-Loop-Bewertung, automatisierte Rubriken, KI als Richter.
• Erfahrung mit Experimentier-Infrastrukturen – A/B-Tests, gestaffelte Rollouts, Feature-Flagging in großem Maßstab.
• Erfahrung in der Umwandlung interner Prototypen in kundenorientierte Produkte.

Erfolg in der Rolle

• Tests werden Teil davon, wie Kunden Agenten erstellen und bereitstellen – nicht etwas, das sie separat tun, sondern Teil des Flusses.
• Kunden können quantifizieren, ob ihr Agent bereit ist, live zu gehen, und Regressionen erkennen, bevor Endbenutzer auf sie stoßen.
• Automatisierte Lösungsraten verbessern sich, da Kunden tatsächlich Qualitätsprobleme diagnostizieren und beheben können, anstatt zu raten.
• Die Testplattform wird zu einer gemeinsamen Fähigkeit, die über KI-Agenten hinaus genutzt wird – von anderen Produktteams, die AI-gestützte Erfahrungen validieren müssen.

Interviewprozess

• 1. Erstgespräch mit dem Talentteam – 15 Minuten.
• 2. Interview mit dem Einstellungsleiter Mirza, Direktor für Produkt, KI-Agenten – 45 Minuten.
• 3. Fallstudie / Workshop – 75 Minuten.
• 4. Abschlussinterview mit Ryan McGrew, VP Produkt, KI-Agenten – 30 Minuten.

Zendesk glaubt daran, unseren Mitarbeitern eine erfüllende und inklusive Erfahrung zu bieten. Unsere hybride Arbeitsweise ermöglicht es uns, absichtlich persönlich in einem unserer vielen Zendesk-Büros weltweit zusammenzukommen, um zu verbinden, zu kollaborieren und zu lernen, während wir unseren Mitarbeitern auch die Flexibilität geben, einen Teil der Woche remote zu arbeiten.

Zendesk ist ein Arbeitgeber, der Chancengleichheit bietet, und wir sind stolz auf unsere fortlaufenden Bemühungen, globale Vielfalt, Gleichheit und Inklusion am Arbeitsplatz zu fördern.