Member of Technical Staff (Data Scientist/Engineer, Online Metrics)

Perplexity bedient täglich Millionen von Nutzern mit zuverlässigen, hochwertigen Antworten, die auf einer LLM-first-Suchmaschine und spezialisierten Datenquellen basieren. Das Answer Quality-Team stellt sicher, dass unsere Eingabeaufforderungen, Tools, Suchen und spezialisierten Datensätze, kombiniert mit sowohl fortschrittlichen als auch internen Modellen, die bestmögliche Erfahrung für unsere Nutzer schaffen. Als Data Scientist/Engineer in diesem Team werden Sie Online-Signale aus Benutzerinteraktionen ableiten, um die Lücke zwischen Änderungen in der Antwortqualität und dem beobachteten Nutzerverhalten zu schließen.

Verantwortlichkeiten:

• Entdecken und Validieren von Online-Signalen aus Benutzerinteraktionen, die als zuverlässige Proxys für die tatsächliche Antwortqualität dienen
• Entwerfen und Implementieren neuartiger Online-Metriken, die sowohl in A/B-Tests als auch auf Produktgesundheits-Dashboards verfolgt werden, um die Übereinstimmung mit den Ground-Truth-Bewertungen sicherzustellen
• Analysieren von experimentellen Ergebnissen zur Validierung dieser Metriken, um sicherzustellen, dass sie die Nutzerzufriedenheit genau vorhersagen und Produktentscheidungen vorantreiben
• Aufbauen und Pflegen der Datenpipelines, die diese Metriken im großen Maßstab berechnen und umsetzbare Qualitäts-Signale an die Such-, Produkt- und Modelltrainingsteams liefern
• Kommunizieren von Ergebnissen und Schaffen von Klarheit durch enge Zusammenarbeit mit den Produkt- und Suchteams
• Arbeiten in einem kleinen, hochwirksamen Team, in dem Ihre Arbeit direkt beeinflusst, wie Perplexity die Antwortqualität misst und verbessert

Qualifikationen:

• MS in einem technischen Bereich oder gleichwertige Erfahrung
• 4+ Jahre Erfahrung als Data Scientist, Analytics Engineer oder in einer verwandten Rolle
• Erfahrung in der Arbeit mit Such-, Empfehlungs- oder LLM-basierten Produkten, mit Schwerpunkt auf der Gestaltung von Online-Metriken und der Analyse von A/B-Experimenten
• Starke Kenntnisse in Python und SQL (erwartet wird das Schreiben von produktionsreifem Code)
• Tiefes Wissen in statistischer Analyse
• Erfahrung mit Business Intelligence (BI)-Tools zur Visualisierung und Berichterstattung
• Komfortabel mit agentischen Codierungsabläufen und der Nutzung von KI-unterstützten Entwicklungstools, um schneller iterieren zu können

Bevorzugte Qualifikationen:

• Kenntnisse in Apache Spark und Databricks
• Erfahrung in der Entwicklung oder Validierung von LLM-as-a-Judge-Systemen
• Frühere Arbeit zur Unterstützung von kundenorientierten Produkten im großen Maßstab