Senior Product Manager, AI Agents Testing

Zendesk AI Agents sind vollständig autonome Agenten, die Kundenprobleme von Anfang bis Ende lösen – sie nutzen Wissensdatenbanken, führen mehrstufige Verfahren aus, ergreifen Maßnahmen über APIs und übergeben an Menschen, wenn dies erforderlich ist. Sie arbeiten über Messaging-, E-Mail- und Sprachkanäle und bearbeiten Millionen von Gesprächen für Marken wie Liberty London, Unity und Motel Rocks. Mit zunehmender Fähigkeit und Autonomie dieser Agenten steigen die Risiken jeder Bereitstellungsentscheidung: ein falsch konfiguriertes Verfahren, eine halluzinierte Antwort oder ein fehlerhafter Eskalationspfad können das Vertrauen der Kunden in großem Maßstab untergraben.

Heute fehlen den Administratoren, die diese Agenten konfigurieren und verwalten – CX-Manager, Bot-Builder, Betriebsleiter – die Werkzeuge, um das Verhalten der Agenten vor dem Live-Gang sicher zu testen, die Qualität in der Produktion zu messen oder Änderungen sicher auszuprobieren. Sie werden die End-to-End-Produktstrategie für unsere Test- und Beobachtungs-Suite verantworten – die Schicht, die es Administratoren ermöglicht, Gespräche gegen ihr tatsächliches Wissen und ihre Verfahren zu simulieren, die Agentenqualität hinsichtlich Genauigkeit, Ton und Einhaltung von Richtlinien zu bewerten, A/B-Experimente zum Verhalten der Agenten durchzuführen und Regressionen zu erkennen, bevor sie die Endbenutzer erreichen.

Hauptverantwortlichkeiten

• Verantwortung für die Produktstrategie und den Fahrplan für das Testen von KI-Agenten – Simulation, Qualitätsbewertung, Experimentierung, Regressionserkennung und Gesprächsnachverfolgung.
• Testing als integrierte Erfahrung im Builder- und Bereitstellungsfluss bereitstellen.
• Definieren, wie die Simulation von Anfang bis Ende funktioniert: Szenarien aus realen Gesprächsmustern generieren, automatisierte Pass/Fail-Bewertung und Ergebnisse, die den Administratoren genau zeigen, was kaputt ist und wo.
• Die Experimentierungsebene aufbauen – A/B-Tests des Verhaltens von Agenten, gestaffelte Rollouts mit statistischer Strenge, sichere Iteration von Ton- und Lösungsstrategien.
• Ein Pre-Publish-Readiness-Gate entwerfen, das den Administratoren eine quantifizierte Sicht auf Risiken vor jeder Bereitstellung bietet – spezifische Probleme, Abdeckungsdefizite, Vergleich mit dem aktuellen Produktionsverhalten.
• Mit ML-, QA- und Plattformteams an Bewertungsmethodik, Simulationsinfrastruktur und Nachverfolgungsarchitektur zusammenarbeiten.
• All dies für nicht-technische Administratoren nutzbar machen – CX-Manager, Bot-Builder, Betriebsleiter, die Antworten benötigen, ohne Code schreiben oder Engineering-Tickets einreichen zu müssen.

Erforderliche Qualifikationen

• Mehrere Jahre Erfahrung im Produktmanagement, davon 2+ Jahre in der Entwicklung für nicht-technische Benutzer in komplexen technischen Bereichen (QA-Tools, No-Code-Plattformen, Administrationskonsolen, Workflow-Builder) im B2B SaaS.
• Erfahrung in der Bereitstellung von AI/ML-Produkten, bei denen Bewertung und Zuverlässigkeit echte Anliegen waren, keine nachträglichen Überlegungen.
• Verstehen, warum traditionelle Tests für LLM-basierte Systeme nicht funktionieren und Meinungen darüber haben, was funktioniert.
• Fähigkeit, Plattformfähigkeiten über benutzerorientierte Produktoberflächen bereitzustellen – Sie bauen nicht nur Infrastruktur, sondern machen sie auch nutzbar.
• Erfahrung in der Integration erworbener oder angrenzender Produkte in eine einheitliche Erfahrung – Kombination von Fähigkeiten aus verschiedenen Teams, Codebasen oder Organisationen zu etwas, das sich wie ein Produkt anfühlt.
• Nachweisliche Erfolge in der Koordination über 3+ Ingenieurteams und mehrere Abteilungen hinweg, um eine kohärente Produkterfahrung zu liefern.

Bonusqualifikationen

• Erfahrung in der Entwicklung von Simulationen, synthetischen Daten oder automatisierten Testprodukten.
• Hintergrund in Conversational AI, Chatbot-Plattformen oder Technologien im Kundenservice.
• Vertrautheit mit LLM-Bewertungsansätzen – Mensch-in-der-Schleife-Bewertung, automatisierte Rubriken, KI-als-Richter.
• Erfahrung mit Experimentierungsinfrastrukturen – A/B-Tests, gestaffelte Rollouts, Feature-Flagging in großem Maßstab.
• Erfahrung in der Umwandlung interner Prototypen in kundenorientierte Produkte.

Erfolg in der Rolle

Das Testen wird Teil dessen, wie Kunden Agenten erstellen und bereitstellen – nicht etwas, das sie separat tun, sondern Teil des Flusses. Kunden können quantifizieren, ob ihr Agent bereit ist, live zu gehen, und Regressionen erkennen, bevor Endbenutzer auf sie stoßen. Die automatisierten Lösungsraten verbessern sich, da die Kunden tatsächlich Qualitätsprobleme diagnostizieren und beheben können, anstatt zu raten. Die Testplattform wird zu einer gemeinsamen Fähigkeit, die über KI-Agenten hinaus genutzt wird – konsumiert von anderen Produktteams, die AI-gestützte Erfahrungen validieren müssen.

EEO-Erklärung

Wir sind ein AA/EEO/Veteranen/Behinderten-Arbeitgeber. Zendesk ist ein Arbeitgeber, der Chancengleichheit bietet und sich verpflichtet hat, einen vielfältigen, integrativen Arbeitsplatz zu gewährleisten. Wir diskriminieren nicht aufgrund von Rasse, Hautfarbe, Religion, nationaler Herkunft, Alter, Geschlecht, Geschlechtsidentität, sexueller Orientierung, Familienstand, medizinischem Zustand oder einer anderen geschützten Eigenschaft. Wenn Sie in den Vereinigten Staaten ansässig sind und weitere Informationen über Ihre EEO-Rechte gemäß dem Gesetz wünschen, können Sie sich an die entsprechenden Ressourcen des Arbeitsministeriums wenden. Zendesk bemüht sich, angemessene Vorkehrungen für Bewerber mit Behinderungen und behinderten Veteranen gemäß den geltenden Bundes- und Landesgesetzen zu treffen. Wenn Sie eine Behinderung haben und eine angemessene Vorkehrung benötigen, kontaktieren Sie bitte peopleandplaces@zendesk.com.