Senior AI Agent & Evaluations Engineer

Schließen Sie sich dem Unternehmen an und helfen Sie, die Zukunft des KI-gestützten Eigentums an Ferienwohnungen zu gestalten. Standort: Portland, OR (Hybrid – drei Tage im Büro). Remote wird für außergewöhnliche Kandidaten in Betracht gezogen.

Über das Unternehmen: Das Unternehmen gestaltet die Zukunft des Eigentums an Ferienwohnungen. Wir arbeiten in einer fragmentierten, operationell komplexen Branche, in der KI das Potenzial hat, grundlegend zu verändern, wie Entscheidungen getroffen werden, wie Kunden unterstützt werden und wie Unternehmen skalieren. Wir entwickeln KI-Agenten, die im Zentrum kritischer Geschäftsabläufe stehen – sie helfen Eigentümern, unterstützen den Betrieb, liefern Einblicke und automatisieren Entscheidungen, die historisch gesehen erheblichen menschlichen Aufwand erforderten. Diese Agenten interagieren mit echten Kunden und beeinflussen echte Geschäftsergebnisse, weshalb Zuverlässigkeit, Sicherheit und Leistung von entscheidender Bedeutung sind.

Wir suchen einen praktischen Senior AI Agent & Evals Engineer, der die Intelligenzschicht hinter diesen Systemen verantwortet. Sie sind verantwortlich für das Design des Verhaltens der Agenten, den Aufbau von Bewertungsrahmen, die Erstellung von Sicherheitsvorkehrungen und die kontinuierliche Verbesserung der Agentenleistung, während unser KI-Einsatz im gesamten Unternehmen wächst.

Wenn Sie leidenschaftlich an Prompt Engineering, der Zuverlässigkeit von Agenten und der Schaffung messbarer KI-Systeme interessiert sind, die bedeutende Geschäftsprobleme lösen, würden wir uns freuen, Sie kennenzulernen.

Warum Sie es lieben werden, im Unternehmen zu arbeiten:

• Die Zukunft der angewandten KI gestalten: Entwerfen und verbessern Sie KI-Agenten, die direkt die Kundenerfahrungen, die betriebliche Effizienz und die Geschäftsergebnisse in unserem Unternehmen beeinflussen.
• An Problemen arbeiten, die wichtig sind: Ihre Arbeit wird reale Entscheidungen beeinflussen, die Kundenkommunikation, Hypothekenausgänge, Mietoperationen und Eigentumserfahrungen betreffen.
• Die Intelligenzschicht besitzen: Übernehmen Sie die volle Verantwortung für das Design von Prompts, das Verhalten von Agenten, Bewertungssysteme, Sicherheitsvorkehrungen und kontinuierliche Leistungsverbesserung.
• Was zählt messen: Bauen Sie anspruchsvolle Bewertungsrahmen, goldene Datensätze und automatisierte Bewertungssysteme, die sicherstellen, dass unsere Agenten sich kontinuierlich verbessern.
• Über das Unternehmen hinweg zusammenarbeiten: Arbeiten Sie eng mit Ingenieuren, Betreibern und Fachexperten zusammen, um Geschäftswissen in skalierbare KI-Systeme umzuwandeln.
• In einem kleinen Team mit großem Einfluss arbeiten: Arbeiten Sie mit erfahrenen Ingenieuren und Führungskräften zusammen, die glauben, dass KI bedeutende Wettbewerbsvorteile in einer traditionell unterversorgten Branche schaffen kann.

Ihr Einfluss:

• Entwerfen, verfeinern und optimieren Sie Prompts, Tool-Definitionen, Routing-Logik und Entscheidungsverhalten im gesamten KI-Agenten-Ökosystem des Unternehmens.
• Bauen und pflegen Sie Bewertungsrahmen, goldene Datensätze, Bewertungssysteme und Regressionstest-Pipelines, die die Qualität und Zuverlässigkeit der Agenten messen.
• Entwickeln Sie Sicherheitsvorkehrungen und Mechanismen für sichere Fehler, die sicherstellen, dass Agenten verantwortungsbewusst in kundenorientierten und finanziell sensiblen Arbeitsabläufen arbeiten.
• Überwachen Sie die Produktionsleistung, untersuchen Sie Fehler, identifizieren Sie Grenzfälle und verbessern Sie kontinuierlich die Ergebnisse der Agenten durch datengestützte Iteration.
• Arbeiten Sie mit Geschäftspartnern zusammen, um Richtlinien, betriebliche Anforderungen und Fachwissen in messbares Verhalten von Agenten zu übersetzen.
• Zusammenarbeit mit Ingenieurteams zur Definition von Kontextanforderungen, Tool-Verträgen und Integrationsspezifikationen, die den Erfolg der Agenten unterstützen.
• Erstellen Sie skalierbare Rahmenbedingungen und wiederverwendbare Muster für die Bereitstellung von KI-Agenten in neuen Geschäftsabläufen und Anwendungsfällen.
• Best Practices für Prompt Engineering, Bewertungsmethoden, Beobachtbarkeit und den Betrieb von Agenten etablieren.

Was Sie mitbringen:

• Nachgewiesene Erfahrung in der Bereitstellung und Verantwortung für Produktions-KI-Agenten oder LLM-gestützte Systeme über Proof-of-Concept-Umgebungen hinaus.
• Tiefe Expertise im Prompt Engineering, einschließlich Systemprompts, Tool-Nutzung, Kontextmanagement, Ausgabe-Beschränkungen und Design des Verhaltens von Agenten.
• Praktische Erfahrung im Aufbau von Bewertungsrahmen mit goldenen Datensätzen, Bewertungsrubriken, LLM-as-Judge-Methoden und Regressionstests.
• Starke Vertrautheit mit modernen KI-Entwicklungstools wie Claude Code, Codex oder ähnlichen Codierungsagenten.
• Erfahrung mit der Beobachtbarkeit von Agenten und Bewertungsplattformen wie LangSmith, Langfuse, Arize, Galileo oder vergleichbaren Lösungen.
• Fähigkeit, Probleme bei Prompts von Daten-, Tool-, Modell- oder Bewertungsfehlern zu unterscheiden und die Leistung der Agenten systematisch zu verbessern.
• Starke schriftliche und mündliche Kommunikationsfähigkeiten mit der Fähigkeit, effektiv über Ingenieur- und Geschäftsteams hinweg zu arbeiten.
• Nachgewiesene Eigenverantwortung mit einer Leidenschaft für den Aufbau zuverlässiger, messbarer und kontinuierlich verbesserter KI-Systeme.

Stark bevorzugt:

• Erfahrung im Aufbau von Agenten, die kommunikationsbasierte Arbeitsabläufe verarbeiten, einschließlich E-Mails, Support-Tickets, Chat-Interaktionen oder Transkripte.
• Erfahrung mit mehreren Agentenrahmen und ein praktisches Verständnis ihrer Vor- und Nachteile.
• Vertrautheit mit der sich entwickelnden LLM-Landschaft und Strategien zur Modellauswahl.
• Erfahrung im Design und in der Implementierung von End-to-End-Bewertungspipelines und Arbeitsabläufen für Agentenoperationen.
• Produktionserfahrung mit Online-Bewertungssystemen und automatisierter Bewertung von Live-Verkehr.

Schön zu haben:

• Erfahrung in der Integration von KI-Systemen mit Salesforce, AWS Connect oder Plattformen für Kundenengagement.
• Hintergrund in kundenorientierten Branchen, in denen Genauigkeit, Compliance und Kommunikationsqualität entscheidend sind.
• Beiträge zu Open-Source-Projekten, technischem Schreiben oder öffentlicher Meinungsführerschaft in den Bereichen KI, Prompt Engineering oder Agentenentwicklung.

Schließen Sie sich uns an und seien Sie an der Spitze der Innovation in der angewandten KI. Wenn Sie begeistert sind, intelligente Systeme zu entwickeln, die komplexe Geschäftsprobleme lösen, das Verhalten von Agenten durch rigorose Bewertungen zu verbessern und die Zukunft des Eigentums an Ferienwohnungen mitzugestalten, würden wir uns freuen, von Ihnen zu hören. Im Unternehmen haben Sie die Möglichkeit, KI-Lösungen zu entwickeln, die wichtig sind, mit talentierten Kollegen zusammenzuarbeiten und Technologien zu schaffen, die echte Auswirkungen auf das Geschäft haben.