KARRIERE / AI PLATFORM
LLMOps Engineer – Model Serving & Evaluation
LLM-Workloads sicher, messbar und kosteneffizient in Produktion betreiben.
München · Berlin · Frankfurt · Stuttgart
Beschäftigungsform in Abstimmung
EMOS Software GmbH
DEINE AUFGABE
Woran du bei EMOS arbeitest.
LLM-Workloads sicher, messbar und kosteneffizient in Produktion betreiben. Im Mittelpunkt stehen belastbare Lösungen, nachvollziehbare technische Entscheidungen und die Zusammenarbeit mit Fachbereichen sowie Engineering-Teams.
- Modell-Gateways, Rate Limits, Routing, Caching und Fallback-Strategien implementieren
- Evaluationen und Regressionstests für Prompts, Modelle und Tool-Aufrufe automatisieren
- Telemetry für Tokenverbrauch, Antwortlatenz, Fehlerquoten und Qualitätsmetriken aufbauen
- Deployment- und Rollback-Prozesse für Modell- und Prompt-Versionen definieren
- Bestehende Lösungen analysieren, technische Risiken dokumentieren und Verbesserungen entlang konkreter Akzeptanzkriterien priorisieren.
- Implementierungen mit geeigneten automatisierten Tests, reproduzierbaren Testdaten und Code-Reviews absichern.
- Fehlerbilder aus Logs, Metriken und Laufzeitverhalten untersuchen; Ursachen und Gegenmaßnahmen nachvollziehbar festhalten.
DEIN PROFIL
Was fachlich gut passt.
Langjährige Erfahrung ist willkommen. Entscheidend sind belastbare technische Grundlagen, Lernbereitschaft und ein professioneller Umgang mit anspruchsvollen Kundensystemen.
- Praxis mit Python, Kubernetes, Docker und API-basiertem Model Serving
- Erfahrung mit OpenTelemetry, Prometheus/Grafana und CI/CD
- Kenntnisse in vLLM oder vergleichbaren Serving-Stacks sowie GPU-Ressourcenplanung
- Verständnis für Secrets, RBAC, PII-Redaktion und Auditierbarkeit
- Erfahrung mit strukturiertem Debugging, Versionsverwaltung und der Zusammenarbeit in interdisziplinären Teams.
- Fähigkeit, technische Entscheidungen verständlich zu begründen und die Qualität anhand konkreter Kriterien zu überprüfen.
TECHNISCHES UMFELD: Python · Kubernetes · vLLM · OpenTelemetry · Prometheus · CI/CD
ZUSAMMENARBEIT & QUALITÄT
Wie du Wirkung erzielst.
In dieser Rolle geht es nicht nur um einzelne Technologien. Du arbeitest an nachvollziehbaren Ergebnissen: Anforderungen klären, Lösungen technisch sauber umsetzen, Risiken früh erkennen und die Übergabe an Betrieb oder andere Teams absichern.
Für die Position LLMOps Engineer – Model Serving & Evaluation sind insbesondere dokumentierte Schnittstellen, transparente Reviews, automatisierte Qualitätssicherung und ein bewusster Umgang mit produktiven Systemen relevant. Das konkrete Projektumfeld wird im Gespräch erläutert.
RAHMENBEDINGUNGEN
Was die aktuelle EMOS-Ausschreibung vorsieht.
München · Berlin · Frankfurt · Stuttgart – ausgeschriebener Standort
Noch abzustimmen – mit gleitender Arbeitszeit
Noch abzustimmen – Beschäftigungsform
Noch abzustimmen – beim Kunden, Inhouse bzw. Remote
Gehaltsmodell: fair und nach Vereinbarung. Konkreter Projekteinsatz und weitere Rahmenbedingungen werden im Bewerbungsprozess abgestimmt.
LLMOps Engineer – Model Serving & Evaluation in München Arbeitgeber: EMOS Software GmbH
Als unabhängige IT‑Beratungsfirma bieten wir Ihnen die Möglichkeit, in einem innovativen und dynamischen Umfeld zu arbeiten, das auf persönliche und berufliche Weiterentwicklung setzt. Mit einer attraktiven Vergütung, einem hohen Anteil an Homeoffice und einer modernen Arbeitsatmosphäre fördern wir nicht nur Ihre Karriere, sondern auch Ihre individuelle Entfaltung. Werden Sie Teil eines engagierten Teams, das seit 30 Jahren erfolgreich in der IT-Branche tätig ist und spannende Projekte im Bereich Cloud-Architektur realisiert.
