Project Lion - Prompt Engineer - United States (Remote, Part-Time)

Wir suchen einen Prompt Engineer, der für den gesamten technischen Migrationsworkflow verantwortlich ist, um Vorlagen zu LLM-Autorierern zu übertragen. Die Rolle erfordert die Nutzung interner Tools des Kunden, um Techniken des Prompt Engineerings anzuwenden und die Modellleistung zu maximieren.

Verantwortlichkeiten:

• Nutzung von Automatic Prompt Generation (APG) Tools zur Erstellung von Basis-Prompts für komplexe Eltern-Kind-Vorlagencluster.
• Ausführen und Überwachen des Automated Prompt Optimization (APO) Tools, Überprüfung der Ausgaben und Kennzeichnung, wenn das APO auf Stillstände oder Plateaus stößt.
• Manuelles Entwerfen, Testen und Verfeinern von Prompts, um komplexe Vorlagenarchitekturen zu navigieren, Anti-Pattern zu überwinden und Randfälle zu behandeln, bei denen Werkzeuge fehlen oder defekt sind.
• Entwurf und Verfeinerung manueller Prompts zur Lösung von Randfall-Szenarien.
• Überwachung von Schattenbot-Läufen, um sicherzustellen, dass ausreichende Meinungsverschiedenheiten (zwischen menschlichen und LLM-Bewertungen) registriert, generiert und verfolgt werden.
• Ausführen von Prompt-Versionen gegen etablierte Golddaten, um kontinuierlich die Qualität des Autorierers im Vergleich zur menschlichen Basislinie zu messen und Genauigkeitsmetriken wie F1-Werte, Präzision und Rückruf zu berechnen.
• Erstellung technischer Begründungen für die Einsatzbereitschaft (Launch Certification Documentation) für den Abschluss.

Anforderungen:

• Sprachkenntnisse: Native Sprachbeherrschung in Englisch.
• Standort: Muss in den Vereinigten Staaten ansässig sein.
• Bildung: Bachelor-, Master- oder Doktortitel in Informatik, Datenwissenschaft, Computerlinguistik, Mensch-Computer-Interaktion (HCI), Kognitionswissenschaft oder einem verwandten analytischen Bereich.
• Prompt Engineering & KI-Expertise: Mindestens 2 Jahre Erfahrung als Prompt Engineer. Nachgewiesene Erfahrung in der Feinabstimmung großer Sprachmodelle (LLMs) für strenge, strukturierte Ausgaben, komplexe Klassifizierungsaufgaben und Vertrautheit mit Chain-of-Thought und Few-Shot-Learning.
• Datenanalyse: Starke Fähigkeiten zur Identifizierung von Fehlermustern, Analyse der Modellleistung und Nutzung von SQL oder anderen Datenanalysetools.
• Technische Agilität: Fähigkeit, proprietäre Tools schnell zu erlernen und zu beherrschen, mit minimaler Aufsicht.
• Kommunikation: Ausgezeichnete mündliche und schriftliche Kommunikationsfähigkeiten.

Optionale / Bevorzugte Fähigkeiten:

• Vertrautheit mit unternehmensgerechten LLM-Schnittstellen wie der Goose API.
• Erfahrung in der Bewertung von KI-Modellen, Datenwissenschaft, Computerlinguistik oder Softwareengineering.
• Praktische Erfahrung mit Automated Prompt Optimization (APO) Systemen oder Feinabstimmungs-Workflows.
• Sprachliche Expertise, einschließlich eines Verständnisses von Semantik und Logik.

Einhaltung der Bundesgesetze: Im Einklang mit dem Bundesrecht müssen alle eingestellten Personen Folgendes tun: Identität und Berechtigung zur Arbeit in den Vereinigten Staaten überprüfen; und ein erforderliches Formular zur Überprüfung der Beschäftigungsberechtigung ausfüllen. Bitte beachten Sie, dass alle neuen Mitarbeiter zur Überprüfung der Arbeitsberechtigung gemäß dem Bundesrecht (I-9-Prozess) innerhalb der ersten 3 Tage der Beschäftigung eine Live-Videoüberprüfung mit ihren ausgewählten Ausweisen durchführen und Fotos dieser ausgewählten Ausweise bereitstellen müssen.