Auf einen Blick
- Aufgaben: Optimiere Prompts und baue Benchmarking-Szenarien für KI-Modelle.
- Unternehmen: Schnell wachsendes AI-Unternehmen mit Fokus auf konversationaler KI.
- Vorteile: Flexibles Arbeiten, wettbewerbsfähiges Gehalt und Entwicklungsmöglichkeiten.
- Weitere Informationen: Dynamisches Team mit großartigen Karrierechancen in Berlin oder München.
- Warum dieser Job: Gestalte die Zukunft der KI und setze Standards in der Branche.
- Qualifikationen: Erfahrung mit Python, LLMs und Benchmarking-Methoden.
Das prognostizierte Gehalt liegt zwischen 60000 - 80000 € pro Jahr.
Applied Scientist | LLM Benchmarking | Berlin / Munich / Remote in Germany
Confidential search for a fast-growing, Series C agentic AI company building conversational AI for global enterprise brands.
This isn't a research seat and it isn't a data analytics role.
You'd own prompt optimisation and LLM benchmarking end to end: building the evaluation framework that decides which models the company adopts, comparing quality against latency across real production use cases, and generalising that framework so it can eventually judge any model, not just the ones already wired into the product.
Six months from now, the ambition is for this to be a benchmark other companies reference.
What you'll do
- Improve and optimise prompts for real production use cases and agent workflows, systematically evaluating performance across different prompting strategies and models.
- Build and maintain benchmarking scenarios that evaluate models (Gemini, GPT-class systems, and whatever comes next) against task performance, end-to-end system integration, latency, and quality.
- Assess new model releases as they land, validate them against our performance and latency requirements, and give data‑driven recommendations on whether we adopt them.
- Design and evolve a generalised evaluation framework, starting from our current benchmarking tooling and gradually decoupling it from our core agent system so it can assess any model, including ones we haven't integrated yet.
- Work closely with our agent and platform engineering teams to turn findings into production changes.
- Track quality and latency trends across model versions over time.
- What you'll need
- Strong Python
- Hands‑on experience with LLMs and prompt engineering
- A real understanding of benchmarking and evaluation methodology
- Systems thinking – you'll be building tooling, not running one‑off notebooks
Research background is a plus, so is experience comparing models at scale. Not a fit if you’re a pure analyst or a theoretical researcher who hasn’t shipped to production.
Berlin or Munich preferred, remote within Germany considered.
#J-18808-Ljbffr
Kontaktdaten:
Xcede Recruitment Solutions Recruiting-Team
StudySmarter Expertenrat🤫
Wir sind der Meinung, dass Sie so Principal Applied Scientist erhalten könnten
✨Wende dich an die richtigen Communities
Schau dir Online-Communities und Foren an, die sich um Data Science drehen, wie Kaggle oder GitHub. Engagiere dich dort aktiv, teile deine Projekte und lerne von anderen – das wird dir helfen, nicht nur einen Fuß in die Tür zu bekommen, sondern auch wertvolle Kontakte zu knüpfen.
✨Präsentiere deine Daten-Projekte
Baue ein Portfolio auf, das deine besten Projekte zeigt. Nutze Plattformen wie GitHub oder eine persönliche Webseite, um deine Arbeiten zu veröffentlichen. Arbeitgeber im Data Science-Bereich schauen oft direkt auf praktische Erfahrungen, also zeig, was du drauf hast!
✨Nimm an Meetups und Hackathons teil
Besuche lokale Data Science-Meetups oder nehme an Hackathons teil. Diese Veranstaltungen sind nicht nur super, um dein Wissen zu erweitern, sondern auch Gold wert für Networking. Du lernst Fachkollegen kennen und kannst auf Lockere Art und Weise Eventualjobs ergattern.
✨Direkte Bewerbungen über unsere Seite
Vergiss nicht, direkt auf unserer Website nach Stellenangeboten bei Xcede Recruitment Solutions zu schauen. Hier kannst du dich auf offene Datenwissenschaftsstellen bewerben und zeigst damit direktes Interesse, das viele Arbeitgeber schätzen!
Wir glauben, dass du diese Fähigkeiten brauchst, um Principal Applied Scientist mit Bravour zu bestehen
Einige Tipps für deine Bewerbung 🫡
Lass deine Daten sprechen!:In einem Bereich wie Data Science ist es entscheidend, dass du deine praktischen Fähigkeiten präsentierst. Wenn du an Projekten gearbeitet hast, die deine Analysefähigkeiten oder dein Wissen über Machine Learning demonstrieren, teile sie in deinem Lebenslauf oder füge einen Link zu deinem GitHub-Portfolio bei. Die Daten, die du analysiert hast, und die Tools, die du verwendest, sollten klar hervorgehoben werden.
Ergebnisse quantifizieren!:Unterstütze deine Erfahrung mit quantifizierbaren Ergebnissen. Zeige, wie du durch deine Analysen oder Modelle zur Entscheidungsfindung beigetragen hast oder wie deine Berechnungen den Rohdaten neue Erkenntnisse entlockt haben. Arbeitgeber in der Data Science sind oft an konkreten Verbesserungen und Effizienzsteigerungen interessiert!
Erläutere deine Lernbereitschaft!:Da es sich um eine Vollzeitstelle handelt, zeige in deinem Anschreiben, dass du bereit bist, zu lernen und dich weiterzuentwickeln. Sprich über deine Neugier für neue Technologien oder Methoden im Data Science Bereich. Vielleicht hast du auch Kurse besucht oder Zertifikate erworben, die deine Begeisterung zeigen!
Die richtige technische Sprache!:Achte darauf, dass deine Bewerbung alle relevanten technischen Begriffe enthält, die in der Data Science gebräuchlich sind. Nenne spezifische Programmier- und Analysetools wie Python, R oder SQL, die du beherrschst. Dies macht es für die Rekrutierer einfacher, schnell zu erkennen, dass du für die Rolle als Principal Applied Scientist bei Xcede Recruitment Solutions gut geeignet bist.
Wie man sich auf ein Vorstellungsgespräch bei Xcede Recruitment Solutions vorbereitet
✨Bereite deine technischen Skills vor
In einem Vorstellungsgespräch für eine Data-Science-Position wird oft dein Wissen über Tools wie Python, R oder SQL getestet. Mach dich mit gängigen Algorithmen und deren Einsatzmöglichkeiten vertraut, denn technische Fragen können schnell kommen. Lass uns sicherstellen, dass du in diesen Bereichen glänzt!
✨Verschaffe dir einen Überblick über Projekte
Da es sich um eine Vollzeitstelle handelt, ist es wichtig, dass du konkrete Erfahrungen und Projekte vorweisen kannst. Wenn du bereits an Data-Science-Projekten gearbeitet hast, sei bereit, diese in der Tiefe zu erläutern und zu diskutieren, wie du die Probleme gelöst hast. Dein Portfolio kann hier einen echten Unterschied machen!
✨Vorbereitung auf case studies
In Data-Science-Interviews sind case studies und praktische Probleme häufig Teil des Gesprächs. Übe, wie du strukturiert und logisch an solche Aufgaben herangehst. Arbeitgeber möchten sehen, wie du Daten analysierst und Lösungen entwickelst – bring also deine analytischen Fähigkeiten mit!
✨Zeige deine Leidenschaft für Daten
Mehr denn je geht es bei einer Vollzeitstelle darum, dass du nicht nur die Skills hast, sondern auch wirklich für das Feld brennst. Teile Anekdoten oder Erfahrungen, die zeigen, wie du zur Datenwissenschaft gekommen bist und was dich fasziniert. Diese Begeisterung kann für Xcede Recruitment Solutions entscheidend sein!
