Senior Product Manager, AI Agents Testing

Zendesk AI Agents sind vollständig autonome Agenten, die Kundenprobleme von Anfang bis Ende lösen - sie nutzen Wissensdatenbanken, führen mehrstufige Verfahren aus, ergreifen Maßnahmen über APIs und übergeben an Menschen, wenn nötig. Sie arbeiten über Messaging-, E-Mail- und Sprachkanäle und bearbeiten Millionen von Gesprächen für Marken wie Liberty London, Unity und Motel Rocks. Mit zunehmender Fähigkeit und Autonomie dieser Agenten steigen die Risiken jeder Bereitstellungsentscheidung: ein falsch konfiguriertes Verfahren, eine halluzinierte Antwort oder ein fehlerhafter Eskalationspfad können das Vertrauen der Kunden in großem Maßstab untergraben.

Die Administratoren, die diese Agenten konfigurieren und verwalten - CX-Manager, Bot-Builder, Betriebsleiter - verfügen nicht über die Werkzeuge, um das Verhalten der Agenten vor dem Live-Gang sicher zu testen, die Qualität in der Produktion zu messen oder Änderungen sicher auszuprobieren. Sie werden die End-to-End-Produktstrategie für unsere Test- und Beobachtungs-Suite verantworten - die Schicht, die es Administratoren ermöglicht, Gespräche gegen ihr tatsächliches Wissen und Verfahren zu simulieren, die Agentenqualität in Bezug auf Genauigkeit, Ton und Einhaltung von Richtlinien zu bewerten, A/B-Experimente zum Verhalten der Agenten durchzuführen und Regressionen zu erkennen, bevor sie die Endbenutzer erreichen.

Hauptverantwortlichkeiten

• Verantwortung für die Produktstrategie und den Fahrplan für das Testen von KI-Agenten - Simulation, Qualitätsbewertung, Experimentierung, Regressionserkennung und Gesprächsnachverfolgung.
• Testing als integrierte Erfahrung im Builder- und Bereitstellungsfluss bereitstellen.
• Definieren, wie die Simulation von Anfang bis Ende funktioniert: Szenarien aus realen Gesprächsmustern generieren, automatisierte Pass/Fail-Bewertung und Ergebnisse, die den Administratoren genau zeigen, was kaputt ist und wo.
• Die Experimentierungsebene aufbauen - A/B-Tests des Verhaltens von Agenten, gestaffelte Rollouts mit statistischer Strenge, sichere Iteration von Ton- und Lösungsstrategien.
• Ein Pre-Publish-Readiness-Gate entwerfen, das den Administratoren einen quantifizierten Überblick über Risiken vor jeder Bereitstellung gibt - spezifische Probleme, Abdeckungsdefizite, Vergleich mit dem aktuellen Produktionsverhalten.
• Mit ML-, QA- und Plattformteams an Bewertungsmethodik, Simulationsinfrastruktur und Nachverfolgungsarchitektur zusammenarbeiten.
• All dies für nicht-technische Administratoren nutzbar machen - CX-Manager, Bot-Builder, Betriebsleiter, die Antworten benötigen, ohne Code schreiben oder Ingenieurtickets einreichen zu müssen.

Erforderliche Qualifikationen

• Mehrere Jahre Erfahrung im Produktmanagement, davon 2+ Jahre in komplexen technischen Bereichen für nicht-technische Benutzer (QA-Tools, No-Code-Plattformen, Administrationskonsolen, Workflow-Builder) im B2B SaaS.
• Erfahrung in der Bereitstellung von KI/ML-Produkten, bei denen Bewertung und Zuverlässigkeit echte Anliegen waren, keine nachträglichen Überlegungen.
• Sie verstehen, warum traditionelle Tests für LLM-basierte Systeme nicht funktionieren und haben Meinungen dazu, was funktioniert.
• Fähigkeit, Plattformfähigkeiten über benutzerorientierte Produktoberflächen bereitzustellen - Sie bauen nicht nur Infrastruktur, sondern machen sie auch nutzbar.
• Erfahrung in der Integration erworbener oder angrenzender Produkte in eine einheitliche Erfahrung - Kombination von Fähigkeiten aus verschiedenen Teams, Codebasen oder Organisationen zu einem Produkt, das sich wie ein einziges Produkt anfühlt.
• Nachweisliche Erfolge bei der Koordination über 3+ Engineering-Teams und mehrere Abteilungen hinweg, um eine kohärente Produkterfahrung zu liefern.

Bonusqualifikationen

• Erfahrung im Aufbau von Simulationen, synthetischen Daten oder automatisierten Testprodukten.
• Hintergrund in konversationaler KI, Chatbot-Plattformen oder Technologien im Kundenservice.
• Vertrautheit mit LLM-Bewertungsansätzen - Human-in-the-Loop-Bewertung, automatisierte Rubriken, KI als Richter.
• Erfahrung mit Experimentierungsinfrastrukturen - A/B-Tests, gestaffelte Rollouts, Feature-Flagging in großem Maßstab.
• Erfahrung in der Umwandlung interner Prototypen in kundenorientierte Produkte.

Erfolg in der Rolle

• Tests werden Teil des Prozesses, wie Kunden Agenten erstellen und bereitstellen - nicht etwas, das sie separat tun, sondern Teil des Flusses.
• Kunden können quantifizieren, ob ihr Agent bereit ist, live zu gehen, und Regressionen erkennen, bevor Endbenutzer auf sie stoßen.
• Automatisierte Lösungsraten verbessern sich, da Kunden tatsächlich Qualitätsprobleme diagnostizieren und beheben können, anstatt zu raten.
• Die Testplattform wird zu einer gemeinsamen Fähigkeit, die über KI-Agenten hinaus genutzt wird - von anderen Produktteams konsumiert, die KI-gestützte Erfahrungen validieren müssen.

Interviewprozess

• 1. Erstgespräch mit dem Talentteam - 15 Minuten
• 2. Interview mit dem Einstellungsleiter Mirza, Director of Product, AI Agents - 45 Minuten
• 3. Fallstudie / Workshop - 75 Minuten
• 4. Abschlussinterview mit Ryan McGrew, VP Product, AI Agents - 30 Minuten

Zendesk ist ein Arbeitgeber, der Chancengleichheit bietet, und wir sind stolz auf unsere fortlaufenden Bemühungen, globale Vielfalt, Gleichheit und Inklusion am Arbeitsplatz zu fördern. Personen, die eine Anstellung suchen, und Mitarbeiter bei Zendesk werden unabhängig von Rasse, Hautfarbe, Religion, nationaler Herkunft, Alter, Geschlecht, Geschlechtsidentität, Geschlechtsausdruck, sexueller Orientierung, Familienstand, medizinischem Zustand, Abstammung, Behinderung, Militär- oder Veteranenstatus oder einer anderen durch geltendes Recht geschützten Eigenschaft berücksichtigt.