Senior/Principal Engineer (m/f/x) for Evaluations Generative AI

Ihre Rolle bei Dynatrace: Die meisten KI-Entwicklertools arbeiten ohne Wissen darüber, wie Software tatsächlich in der Produktion funktioniert. Dynatrace befindet sich in einer einzigartigen Position, um das zu ändern. Wir suchen einen Senior oder Principal Generative AI Engineer, der die Evaluierungs- und Simulationsfähigkeiten im Kern unseres Produkts entwirft und aufbaut. Sie werden über den gesamten Stack hinweg arbeiten, von CLI-Tools, die Ingenieure lokal ausführen, bis hin zu groß angelegten Simulationspipelines und LLM-as-a-judge-Evaluierungsrahmen, die gegen echte Dynatrace AI Observability-Daten laufen.

Ihre Verantwortlichkeiten:

• Forschung im Bereich Generative AI durchführen
• Systeme entwerfen und aufbauen, die es Benutzern ermöglichen, KI-Agenten in großem Maßstab wiederzugeben und zu testen
• Regressionen über Modellversionen, Änderungen der Eingabeaufforderungen und Datenverschiebungen erkennen
• Die Metriken, Datensätze und Bewertungsstrategien definieren, die Ergebnisse vertrauenswürdig machen
• Infrastruktur aufbauen, um Multi-Turn-Tool-verwende Agenten in realistischen Umgebungen zu simulieren
• Adversariale Szenarien generieren, Aufgabenabschlüsse, Tool-Nutzungskorrektheit und Fehlermodi messen
• Teams helfen, Agenten mit Vertrauen auszuliefern
• Entwicklerorientierte CLIs besitzen, die Bewertungen auf Basis von Dynatrace AI Observability-Daten durchführen
• Schnell Prototypen erstellen, Benutzerfeedbackzyklen durchführen und in die Produktion bringen
• Technische Strategie für die KI-Systeme des Teams definieren, architektonische Richtung festlegen und andere Ingenieure betreuen
• Mit Produkt und Design zusammenarbeiten, um herauszufinden, welche Entwicklerprobleme am wertvollsten sind

Was Ihnen zum Erfolg verhelfen wird:

• 5+ Jahre (Senior) oder 10+ Jahre (Principal) Berufserfahrung in der Softwareentwicklung
• Nachgewiesene Erfahrung in der Bereitstellung von Produktionssystemen, die LLMs verwenden
• Starke Grundlagen in mindestens einem der folgenden Bereiche: Entwicklerwerkzeuge, AI/ML-Engineering oder groß angelegte verteilte Systeme
• Praktische Erfahrung mit agentischen Mustern: Planung, Tool-Nutzung, Abruf, Speicherverwaltung
• Fähigkeit, KI-generierte Ausgaben zu bewerten und zu kritisieren
• Klare Kommunikation mit funktionsübergreifenden Partnern
• Hintergrund in Observability, APM oder Infrastrukturüberwachung
• Vertrautheit mit Engineering-Plattformen in großem Maßstab
• Praktische Erfahrung mit LLMs: Eingabeaufforderungsengineering, Evaluierungsrahmen oder Agentenrahmen

Warum Sie es lieben werden, ein Dynatracer zu sein: Dynatrace ist ein führendes Unternehmen in der einheitlichen Beobachtbarkeit und Sicherheit. Wir bieten eine Kultur der Exzellenz mit wettbewerbsfähigen Vergütungspaketen. Unsere Mitarbeiter arbeiten mit den größten Cloud-Anbietern zusammen, um strategische Allianzen zu schaffen. Sie werden an der Spitze der Innovation mit Dynatrace Intelligence arbeiten. Über 50% der Fortune 100 Unternehmen sind derzeit Kunden von Dynatrace.

Vergütung und Belohnungen: Wir bieten attraktive Vergütungspakete und Aktienoptionsprogramme. Aufgrund gesetzlicher Vorgaben sind wir verpflichtet, eine Gehaltsspanne für diese Position anzugeben, die zwischen 74.000 € und 112.000 € brutto pro Jahr liegt. Wir haben die Gehaltsspanne zur Transparenz aufgeführt, aber wenn Ihre Erfahrungen und Fähigkeiten einen einzigartigen Wert bringen, würden wir uns freuen, von Ihnen zu hören – bitte bewerben Sie sich auch, wenn Sie außerhalb des Rahmens liegen.

Gleichberechtigung: Dynatrace bietet allen Mitarbeitern und Bewerbern gleiche Beschäftigungsmöglichkeiten ohne Rücksicht auf Rasse, Farbe, Religion, Geschlecht, Geschlechtsidentität oder -ausdruck, sexuelle Orientierung, nationale Herkunft, Genetik, Behinderung, Alter, Veteranenstatus oder eine andere geschützte Eigenschaft. Wir fördern aktiv einen integrativen Arbeitsplatz, der Unterschiede feiert und Zugänglichkeit, Zusammenarbeit und Wachstum für alle fördert.