Senior/Principal Engineer (m/f/x) for Evaluations Generative AI

Alle relevanten Fähigkeiten, Qualifikationen und Erfahrungen, die ein erfolgreicher Bewerber benötigt, sind in der folgenden Beschreibung aufgeführt.

Your role at Dynatrace

Most AI developer tools operate without any knowledge of how software actually behaves in production. Dynatrace is in a unique position to change that. We're looking for a Senior oder Principal Generative AI Engineer, um die Evaluierungs- und Simulationsfähigkeiten im Kern unseres Produkts zu entwerfen und aufzubauen. Sie werden über den gesamten Stack hinweg arbeiten, von CLI-Tools, die Ingenieure lokal ausführen, bis hin zu groß angelegten Simulationspipelines und LLM-as-a-judge-Evaluierungsrahmen, die gegen echte Dynatrace AI Observability-Daten laufen.

Diese Rolle gehört zur Engineering-Organisation von Dynatrace und arbeitet eng mit den Produkt-, Design- und Plattformteams zusammen, die den AI-Observability-Stack von Dynatrace unterstützen.

Your responsibilities:

• Forschung im Bereich Generative AI durchführen
• Systeme entwerfen und aufbauen, die es Benutzern ermöglichen, AI-Agenten in großem Maßstab wiederzugeben und zu testen. Regressionen zwischen Modellversionen, Änderungen der Eingabeaufforderungen und Datenabweichungen erkennen. Die Metriken, Datensätze und Bewertungsstrategien definieren, die Ergebnisse vertrauenswürdig machen.
• Infrastruktur aufbauen, um Multi-Turn-Tool-Using-Agenten in realistischen Umgebungen zu simulieren. Adversariale Szenarien generieren, die Aufgabenabschlüsse, Korrektheit der Tool-Nutzung und Fehlermodi messen. Teams helfen, Agenten mit Vertrauen auszuliefern.
• Entwicklerorientierte CLIs besitzen, die Bewertungen auf Basis von Dynatrace AI Observability-Daten durchführen, von der Trace-Ingestion bis zur Konfiguration des Richters und zur Berichterstattung. Es zum bevorzugten Tool für AI-Ingenieure machen, wenn sie ein Produktionsverhalten debuggen.
• Schnell Prototypen erstellen, Benutzerfeedback-Zyklen durchführen und in die Produktion bringen
• Technische Strategie für die AI-Systeme des Teams definieren, architektonische Richtung festlegen und andere Ingenieure betreuen
• Mit Produkt und Design zusammenarbeiten, um zu identifizieren, welche Entwicklerprobleme am wertvollsten zu lösen sind.

What will help you succeed:

• 5+ Jahre (Senior) oder 10+ Jahre (Principal) Berufserfahrung in der Softwareentwicklung
• Nachgewiesene Erfahrung in der Bereitstellung von Produktionssystemen, die LLMs verwenden, einschließlich Eingabeaufforderung, Toolaufruf, Bewertung und Iteration
• Starke Grundlagen in mindestens einem der folgenden Bereiche: Entwickler-Tools (IDEs, Compiler, statische Analyse, Code-Intelligenz), AI/ML-Engineering oder groß angelegte verteilte Systeme
• Praktische Erfahrung mit agentischen Mustern: Planung, Tool-Nutzung, Abruf, Speicherverwaltung
• Fähigkeit, AI-generierte Ausgaben zu bewerten und zu kritisieren. Sie verstehen, wann ein Modell falsch ist, nicht nur, dass es falsch ist.
• Klare Kommunikation mit funktionsübergreifenden Partnern in Produkt und Engineering
• Hintergrund in Observability, APM oder Infrastrukturüberwachung
• Vertrautheit mit Engineering-Plattformen in großem Maßstab: CI/CD-Systeme, Entwicklerportale, interne Tools
• Praktische Erfahrung mit LLMs: Eingabeaufforderungsengineering, Bewertungsrahmen (z.B. LLM-as-a-judge, goldene Datensätze, paarweise Vergleiche) oder Agentenrahmen.

Why you will love being a Dynatracer:

• Dynatrace ist ein führendes Unternehmen in der einheitlichen Observability und Sicherheit.
• Wir bieten eine Kultur der Exzellenz mit wettbewerbsfähigen Vergütungspaketen, die darauf ausgelegt sind, Leistung anzuerkennen und zu belohnen.
• Unsere Mitarbeiter arbeiten mit den größten Cloud-Anbietern, darunter AWS, Microsoft und Google Cloud, sowie anderen führenden Partnern weltweit, um strategische Allianzen zu schaffen.
• Sie werden an der Spitze der Innovation mit Dynatrace Intelligence arbeiten – dem ersten agentischen Betriebssystem der Branche.
• Über 50% der Fortune 100-Unternehmen sind aktuelle Kunden von Dynatrace.

Compensation and Rewards:

• Wir bieten attraktive Vergütungspakete und Aktienkaufoptionen mit zahlreichen Vorteilen und Vorzügen.
• Aufgrund gesetzlicher Vorgaben sind wir verpflichtet, eine Gehaltsspanne für diese Position anzugeben, die bei €74.000 bis €112.000 brutto pro Jahr auf Vollzeitbeschäftigung (38,5 h/Woche) basiert.

Equal Employment Opportunity:

Dynatrace bietet allen Mitarbeitern und Bewerbern gleiche Beschäftigungsmöglichkeiten, ohne Rücksicht auf Rasse, Farbe, Religion, Geschlecht, Geschlechtsidentität oder -ausdruck, sexuelle Orientierung, nationale Herkunft, Genetik, Behinderung, Alter, Veteranenstatus oder eine andere geschützte Eigenschaft. Wir fördern aktiv einen integrativen Arbeitsplatz, der Unterschiede feiert und Zugänglichkeit, Zusammenarbeit und Wachstum für alle fördert.

Note to Recruiters and Agencies: Vielen Dank für Ihr Interesse an Dynatrace. Bitte beachten Sie, dass wir keine unaufgeforderten Lebensläufe von Agenturen akzeptieren – senden Sie diese nicht über unsere Website oder direkt an Dynatrace-Mitarbeiter. Dynatrace wird keine Gebühren für unaufgeforderte Lebensläufe zahlen, und alle auf diese Weise erhaltenen Lebensläufe werden als Eigentum von Dynatrace betrachtet.

Benefits and work-life perks:

• Wir bieten erstklassige Kernbelohnungen, einschließlich bezahltem Urlaub, finanziellen Sicherheitsleistungen, Altersvorsorgeplänen und Krankenversicherung.
• Darüber hinaus erhalten Sie weitere Vorteile und Arbeitslebensvorteile, die Ihre Zeit bei uns noch lohnender gestalten.

Mental health support:

Unser Mitarbeiterunterstützungsprogramm, unterstützt von Telus Health, bietet Unterstützung für Sie und Ihre Familienangehörigen.

Wellness Days:

Vier vom Unternehmen festgelegte zusätzliche bezahlte Tage, damit Sie sich erholen können.

Flexibility:

Unser hybrides Arbeitsmodell und flexible Arbeitszeiten bieten Ihnen die Flexibilität, die Sie benötigen.

Employee Stock Purchase Plan:

Kaufen Sie Unternehmensaktien (NYSE:DT) zu einem ermäßigten Preis und werden Sie Aktionär.