AI Engineer - LLM Specialist

Wir suchen einen erfahrenen AI Engineer mit starkem Fokus auf das Testen, Bewerten und Operationalisieren von Large Language Models (LLMs), um unser wachsendes Team zu verstärken. In dieser Rolle stellen Sie sicher, dass unsere Sprachmodelle hohe Standards in Bezug auf Genauigkeit, Robustheit, Sicherheit und Leistung erfüllen und nahtlos in unsere Speech-to-Text- und KI-gesteuerten Anwendungslandschaften integriert werden. Sie arbeiten eng mit Produkt-, Full-Stack- und Infrastruktur-Ingenieuren zusammen, um modernste Sprachmodelle in zuverlässige, produktionsbereite Systeme zu transformieren, die reale Kundenprobleme lösen. Sie machen Prototypen produktionsbereit.

Hauptverantwortlichkeiten

• LLM Bewertung & Testing
  • Entwerfen und Pflegen systematischer Bewertungsrahmen für LLMs, einschließlich: Automatisierte Test-Suiten, Goldene Datensätze, Regression Benchmarks.
  • Definieren quantitativer Metriken (z.B. Genauigkeit, Latenz, Halluzinationsrate, Aufgabenerfolg) und qualitativer Bewertungsprotokolle.
  • Durchführen von Fehleranalysen und Ursachenuntersuchungen bei Modellfehlern.
• Aufgabenanpassung & Optimierung
  • Fokus auf schnelles Prototyping und Operationalisierung von Kundenanwendungsfällen.
  • Verbessern der Modellleistung bei spezifischen Aufgaben mithilfe eines Prompt-First-Workflows.
  • Erstellen und Iterieren von Evaluationssets; Experimente durchführen, um Qualität, Latenz und Kosten zu messen.
  • Kuratiere hochsignifikante Datensätze für automatisierte Prompt-Optimierung.
  • Leichte Anpassungen anwenden, wenn vorteilhaft.
  • Vorbereiten und Kuratieren von Trainingsdatensätzen.
  • Bewerten und Vergleichen von Open-Source- und kommerziellen LLMs für spezifische Anwendungsfälle.
  • Gestalten kontrollierter Experimente (A/B-Tests, Offline-Bewertungen).
  • Dokumentieren von Ergebnissen und Empfehlen von Modellentscheidungen.
  • Zusammenarbeiten mit Full-Stack-Ingenieuren zur Integration von Prototypen in Produkte, Backend-Dienste und benutzerorientierte Anwendungen.
  • Unterstützen des API-Designs für Modellinferenz und Nachbearbeitung.
  • Sicherstellen, dass Modelle zuverlässig in Echtzeit- und Batch-Workflows funktionieren.
• Qualität, Sicherheit & Schutzmaßnahmen
  • Implementieren von Mechanismen zur Reduzierung von Halluzinationen, Durchsetzung von Ausgabeformaten, Anwendung von Inhaltsfiltern und Erkennung unsicherer oder wenig vertrauenswürdiger Ausgaben.
• Leistungs- & Kostenoptimierung
  • Optimieren der Inferenzlatenz und -durchsatz.
  • Überwachen und Optimieren der Inferenzkosten.
• MLOps & Lebenszyklusmanagement
  • Versionieren von Modellen, Datensätzen, Prompts und Bewertungsergebnissen.
  • Überwachen der Modellleistung in der Produktion und Erkennen von Drift.
  • Eng mit Produktmanagern zusammenarbeiten, um Anforderungen in Modellverhalten zu übersetzen.
  • Interne Teams mit Anleitung zu Prompt-Design und Modellen unterstützen.
  • Beitragen zu Dokumentation und internen Best Practices.
  • Standards für Datenqualitätsrichtlinien und -speicherung definieren.
  • Nachverfolgbarkeit zwischen Datensätzen, Experimenten und bereitgestellten Modellen aufrechterhalten.
• Synthetische Datengenerierung
  • Verwenden von LLMs oder anderen Techniken zur Generierung synthetischer Trainingsdaten, wo echte Daten knapp sind.
• Agentische LLMs
  • Entwerfen und Testen von LLM-Workflows, die Werkzeuge, Funktionen oder externe APIs aufrufen.
• Human-in-the-Loop-Workflows
  • Entwerfen von Feedbackschleifen, in denen menschliche Prüfer Modellausgaben validieren oder korrigieren.
• Forschungsscouting
  • Relevante Papers, Frameworks und Open-Source-Projekte verfolgen.
• Interne Befähigung
  • Erstellen interner Richtlinien für das Schreiben und Bewerten von Prompts.
  • Gelegentliche Wissensaustausch-Sitzungen durchführen.

Was Sie mitbringen

• AI / ML Erfahrung
  • Mindestens 3–5 Jahre Erfahrung in maschinellem Lernen oder angewandter KI.
  • Praktische Erfahrung mit LLMs in der Produktion oder fortgeschrittenen Prototypen.
  • Erfahrung mit PyTorch oder TensorFlow.
  • Vertrautheit mit Feinabstimmungstechniken und Trainingspipelines.
  • Starkes Verständnis des experimentellen Designs.
• Programmierfähigkeiten
  • Vertrautheit mit REST-APIs und Backend-Integration.
  • Erfahrung mit der Vorverarbeitung von Datensätzen, Labeling-Pipelines und Versionierung.
  • Vertrautheit mit Docker, CI/CD und Modellbereitstellung.
• Analytische Denkweise
  • Fähigkeit, über das Verhalten und die Fehlerarten von Modellen nachzudenken.
• Kommunikation
  • Gute mündliche und schriftliche Kommunikation in Englisch und Deutsch.
• Startup-Mentalität
  • Komfortabel mit Unklarheiten, schneller Iteration und hoher Eigenverantwortung.

Was wir anbieten

• Die Möglichkeit, nach einer Einarbeitungszeit am Aktienprogramm von AlpineAI teilzunehmen.
• Dynamische, innovationsgetriebene Kultur.
• Hohe Autonomie und echten Produktimpact.
• Enge Zusammenarbeit mit Experten in den Bereichen Sprache, NLP und angewandte KI.
• Exposition gegenüber modernsten KI-Technologien.

Bitte bewerben Sie sich nicht, wenn

• Sie nicht bereit sind, vor Ort in Zürich oder Davos zu arbeiten.
• Sie keine Arbeitserlaubnis für die Schweiz haben.
• Sie noch nie in einem Startup-Umfeld gearbeitet haben.

Über uns

Erfahren Sie mehr über AlpineAI. Bereit, Kunden beim Erfolg mit KI zu helfen? Bewerben Sie sich jetzt mit Ihrem Lebenslauf und einem kurzen Anschreiben. Wir freuen uns darauf, von Ihnen zu hören.