R&D Engineering, Principal Engineer

Wir sind Synopsys, der führende Anbieter von Ingenieurlösungen von Silizium bis Systeme, der es Kunden ermöglicht, schnell AI-gesteuerte Produkte zu innovieren. Wir liefern branchenführendes Siliziumdesign, IP, Simulations- und Analyse-Lösungen sowie Design-Dienstleistungen. Wir arbeiten eng mit unseren Kunden in einer Vielzahl von Branchen zusammen, um ihre F&E-Fähigkeiten und Produktivität zu maximieren.

Sie haben Jahre an der Schnittstelle von AI-Systemengineering und Infrastruktur verbracht, wo "gut genug" niemals gut genug ist, weil Ihre Werkzeuge zwischen Prototyp und Produkt stehen. Sie haben ein Auge dafür, wo sich das Verhalten von Agenten abweichen kann, und ein Talent dafür, die Art von Testumgebungen zu erstellen, die dies erkennen, bevor es in eine Veröffentlichung gelangt. Sie lieben es, Frameworks zu entwerfen, die es Entwicklern ermöglichen, schneller zu arbeiten, ohne Dinge zu brechen – Ihr Erfolg besteht darin, dass Ihr Referenzdatensatz und automatisierte Prüfungen ein unverzichtbarer Teil des Workflows des Teams werden.

Was Sie tun werden:

• Entwerfen und Entwickeln einer robusten, auf Python basierenden Evaluierungsinfrastruktur für agentische Kalibrierungs-F&E-Workflows, die von allen Kalibrierungsentwicklern vor Code-Zusammenführungen verwendet wird.
• Besitzen und Kuratieren des goldenen Referenzdatensatzes, der das korrekte Verhalten der agentischen Kalibrierung über sich entwickelnde Codebasen und Modellversionen definiert.
• Ingenieurautomatisierung von Regression-, Benchmark- und Qualitätskontrollsystemen, die direkt in die CI/CD-Pipeline (GitLab oder Jenkins) integriert sind.
• Implementierung modernster Methoden zur Bewertung von Agenten, einschließlich Ausführungstracing, LLM-as-Judge und automatisierter Erkennung von Verhaltensabweichungen.
• Sicherstellen, dass jede Änderung am Agentencode, Prompt oder Modell einen vollständigen Evaluierungsdurchlauf auslöst – keine manuellen Schritte, keine übersprungenen Prüfungen.
• Validierung, dass Agentenausfälle frühzeitig erkannt werden und kontrolliert, vorhersehbar ausfallen.
• Gestaltung des Evaluierungsframeworks so, dass es sich an verschiedene Kalibrierungsphasen anpasst, ohne eine Neugestaltung zu erfordern.

Der Einfluss, den Sie haben werden:

• Jeder Kalibrierungs-F&E-Entwickler hat einen zuverlässigen, automatisierten Weg, um seine Arbeit zu validieren, bevor sie jemals in die Produktion gelangt.
• Verhaltensabweichungen, Regressionen und stille Ausfälle werden lange vor der Veröffentlichung aufgedeckt, wodurch Probleme verhindert werden, die nach unten durchdringen.
• Die Qualität und Bereitschaft der Agenten wird mit echten Metriken nachverfolgbar, was datengestützte Go/No-Go-Entscheidungen unterstützt.
• Die Evaluierungspipeline skaliert leicht, während sich die Kalibrierungs-Workflows entwickeln, und unterstützt schnelle F&E, ohne die Strenge zu opfern.
• Sie ermöglichen direkt eine schnellere, sicherere Produktisierung von agentischen Kalibrierungsfunktionen und heben den Standard für Zuverlässigkeit.
• Ihre Frameworks werden das Rückgrat der QA für agentische Kalibrierung – wenn es Ihre Prüfungen nicht besteht, wird es nicht versendet.
• Sie fördern eine Kultur, in der Qualitätstüren als Ermöglicher und nicht als Blockaden angesehen werden, wodurch die Arbeit jedes Ingenieurs stärker wird.

Was Sie benötigen:

• Über 10 Jahre relevante Erfahrung.
• Tiefe Kenntnisse in Python, mit praktischer Erfahrung im Aufbau von produktionsgerechter Evaluierungs- oder Testautomatisierungsinfrastruktur.
• Frühere Erfahrung im Entwerfen von Benchmark-, Regression- oder Qualitätskontrollsystemen für nicht-deterministische AI/ML-Workflows.
• Nachweisliche Erfolge bei der Integration automatisierter Testsuiten und Dashboards in CI/CD-Pipelines (GitLab, Jenkins oder ähnlich).
• Vertrautheit mit modernen Ansätzen zur Bewertung von Agenten: Ausführungstracing, LLM-as-Judge, Verwaltung goldener Datensätze und Erkennung von Verhaltensabweichungen.
• Komfortable Arbeit in F&E-Umgebungen, in denen sich Anforderungen ändern und die Infrastruktur mit sich entwickelnden Workflows skalieren muss.
• Erfahrung im Datenmanagement und in der Datensatzkuration für maschinelles Lernen oder Agentenbewertung ist ein großer Vorteil.
• Einblick in Kalibrierung, agentische Workflows oder Halbleiter-EDA-Umgebungen wird geschätzt, ist aber nicht erforderlich.

Wer Sie sind:

• Sie sehen Evaluierungsframeworks als Produkte, nicht als Nachgedanken – was Sie bauen, wird jeden Tag von allen genutzt und vertraut.
• Sie können einem Entwickler erklären: „Hier ist der Grund, warum Ihr Agent diesen Test nicht bestanden hat“ und vorschlagen, wie man ihn ohne Fachjargon oder Schuldgefühle behebt.
• Sie erkennen Schwachstellen in einem Testplan und scheuen sich nicht, für stärkere Abdeckung oder bessere Metriken zu plädieren.
• Sie gedeihen darin, komplexe Validierungslogik sowohl robust als auch unsichtbar zu machen – Entwickler wissen einfach, dass es solide ist, wenn es besteht.
• Sie halten sich über die neuesten Entwicklungen in der Bewertung von AI-Systemen auf dem Laufenden und sind begierig darauf, diese Ideen in reale Workflows zu bringen.
• Sie behandeln „es hat beim letzten Mal funktioniert“ niemals als Garantie – es geht immer um Wiederholbarkeit, Zuverlässigkeit und Beweis.

Ihr Team:

Ihr Recruiter wird Ihnen während des Vorstellungsgesprächs mehr über die Teamstruktur und die Mission mitteilen.

Belohnungen und Vorteile:

Wir bieten eine umfassende Palette von Gesundheits-, Wellness- und Finanzleistungen, die auf Ihre Bedürfnisse zugeschnitten sind. Unsere Gesamtvergütung umfasst sowohl monetäre als auch nicht-monetäre Angebote. Ihr Recruiter wird Ihnen während des Einstellungsprozesses weitere Details zu Gehaltsbereichen und Leistungen mitteilen.