Auf einen Blick
- Aufgaben: Entwickle und baue ein Benchmarking-Tool für KI-Agenten und führe Vergleiche durch.
- Unternehmen: Agile Robots SE, ein internationales High-Tech-Unternehmen in München.
- Vorteile: Praktische Lernmöglichkeiten, 100 € monatlich für Gesundheit und Weiterbildung, moderne Büros.
- Weitere Informationen: Dynamisches Arbeitsumfeld mit über 60 Nationalitäten und hervorragenden Karrieremöglichkeiten.
- Warum dieser Job: Gestalte die Zukunft der Robotik und arbeite mit einem internationalen Team.
- Qualifikationen: Eingeschrieben im Masterstudium in Informatik oder verwandten Bereichen, Python-Kenntnisse erforderlich.
Das prognostizierte Gehalt liegt zwischen 13 - 16 € pro Stunde.
Wir suchen einen Werkstudenten (m/w/d) für die LLM-Agentenbewertung und Benchmarking. In dieser Rolle werden Sie ein agentenunabhängiges Benchmarking-Framework entwerfen und aufbauen, vergleichende Bewertungen zwischen Frontier- und lokalen Modellen durchführen und Erkenntnisse in Verbesserungen von Aufforderungen, Schutzmaßnahmen und Tool-Schemas umsetzen.
Ihre Verantwortlichkeiten:
- Framework-Entwicklung: Entwerfen und Erstellen eines agentenunabhängigen Benchmarking-Frameworks, das versionierte Aufgabenpakete gegen Frontier- und lokale Modelle mit reproduzierbaren, versionskontrollierten Ausführungen ausführt.
- Aufgabenpaket-Design: Definieren und Pflegen von Bewertungsaufgabenpaketen, die den Erfolg der Aufgaben, die Genauigkeit der Verankerung, die Latenz und die Kosten im gesamten Agentenportfolio messen.
- Modellbewertung: Durchführung regelmäßiger Kopf-an-Kopf-Bewertungen zwischen Modellen, um strukturierte Vergleiche zu erstellen, die Entscheidungen zur Modellauswahl unterstützen.
- Bewertungsberichterstattung: Analyse der Bewertungsergebnisse und Erstellung von Berichten und Visualisierungen, die die Ergebnisse klar an die Agentenbesitzer kommunizieren.
- Verbesserungsfeedback: Übersetzung der Bewertungsergebnisse in konkrete Änderungen an Aufforderungen, Schutzlogik und Tool-Schemas in Zusammenarbeit mit den Agentenbesitzern.
Wesentliche Fähigkeiten:
- Akademischer Hintergrund: Derzeit eingeschrieben in einem Masterprogramm in Informatik, Maschinellem Lernen oder Datenwissenschaft.
- Python-Engineering: Fähigkeit, gut strukturierten Python-Code für Tools und Automatisierung zu schreiben, einschließlich Testframeworks wie pytest, Abhängigkeitsmanagement, reproduzierbare Ausführung und grundlegende CI-Pipeline-Konfiguration.
- Bewertungsframeworks: Praktische Vertrautheit mit LLM-Bewertungsframeworks wie LangSmith, Ragas, Inspect AI oder lm-evaluation-harness.
- Agentenkonzepte: Praktisches Verständnis von LLM-APIs (OpenAI, Anthropic, Ollama), der Struktur von Aufforderungen und wie mehrstufige Agentensysteme aufgebaut und instrumentiert werden.
- Experimentelles Design: Fähigkeit, kontrollierte Vergleiche zu entwerfen, Erfolgsmetriken zu definieren und Ergebnisse unter verschiedenen Bewertungsbedingungen zu interpretieren.
Wünschenswerte Fähigkeiten:
- Datenanalyse: Vertrautheit mit statistischen Vergleichsmethoden und Datenverarbeitung mit numpy, pandas und scikit-learn.
- Berichterstattungstools: Vertrautheit mit Datenvisualisierung und Berichterstattung mit Tools wie Plotly, Streamlit oder Notebooks.
- Agentenframeworks: Vertrautheit mit Agentenorchestrierungsframeworks wie LangChain oder LangGraph.
Was wir bieten:
- Praktische Lernmöglichkeiten zur Ergänzung Ihres Studiums.
- Dynamisches High-Tech-Unternehmen kombiniert mit finanzieller Solidität und erstklassigen Investoren.
- Arbeiten Sie in einem interdisziplinären, internationalen Team mit über 60 verschiedenen Nationalitäten in einer kollaborativen Arbeitsumgebung.
- Corporate Benefits-Programm, das Gesundheit, Mobilität und Lernen mit 100 € netto pro Monat abdeckt.
- Moderne Büros mit Dachterrasse mit Blick auf München, kostenlose Getränke und Obst sowie regelmäßige Unternehmensveranstaltungen tragen zu einem guten Arbeitsumfeld bei.
Über uns:
Agile Robots SE ist ein internationales High-Tech-Unternehmen mit Sitz in München, Deutschland, mit einem Produktionsstandort in Kaufbeuren und mehr als 2300 Mitarbeitern weltweit. Unsere Mission ist es, die Lücke zwischen künstlicher Intelligenz und Robotik zu schließen, indem wir Systeme entwickeln, die modernste Kraft-Moment-Sensorik und führende Bildverarbeitungstechnologie kombinieren. Diese einzigartige Kombination von Technologien ermöglicht es uns, benutzerfreundliche und erschwingliche Roboterlösungen anzubieten, die eine intelligente Präzisionsmontage ermöglichen. Dies wird durch unsere Mitarbeiter möglich, die jeden Tag mit Kreativität und Begeisterung ihr Bestes geben. Werden Sie Teil dieses Teams und gestalten Sie mit uns die Zukunft der Robotik!
Wir sind stolz auf unsere Vielfalt und freuen uns auf Ihre Bewerbung, unabhängig von Geschlecht und sexueller Identität, Nationalität, Ethnie, Religion, Alter oder Behinderung.
Working Student (m/f/d) LLM Agent Evaluation & Benchmarking Arbeitgeber: Agile Robots SE
Agile Robots SE ist ein hervorragender Arbeitgeber, der seinen Mitarbeitern nicht nur praktische Lernmöglichkeiten bietet, sondern auch in einem dynamischen, internationalen Umfeld mit über 60 Nationalitäten arbeitet. Die modernen Büros in München, kombiniert mit einem attraktiven Corporate Benefits Programm und regelmäßigen Unternehmensveranstaltungen, schaffen eine positive Arbeitsatmosphäre, die Kreativität und Teamarbeit fördert. Zudem unterstützt das Unternehmen die persönliche und berufliche Weiterentwicklung seiner Mitarbeiter, was es zu einem idealen Ort für Studierende macht, die ihre Karriere im Bereich KI und Robotik vorantreiben möchten.
StudySmarter Expertenrat🤫
Wir sind der Meinung, dass Sie so Working Student (m/f/d) LLM Agent Evaluation & Benchmarking erhalten könnten
✨Tipp Nummer 1
Nutze dein Netzwerk! Sprich mit Kommilitonen, Professoren oder ehemaligen Praktikanten. Oft gibt es Stellen, die nicht öffentlich ausgeschrieben sind, und persönliche Empfehlungen können dir einen Vorteil verschaffen.
✨Tipp Nummer 2
Bereite dich auf Vorstellungsgespräche vor, indem du häufige Fragen übst und deine Antworten klar strukturierst. Zeige, dass du die Anforderungen der Stelle verstehst und wie deine Fähigkeiten dazu passen.
✨Tipp Nummer 3
Sei proaktiv! Wenn du eine interessante Stelle siehst, bewirb dich direkt über unsere Website. Warte nicht darauf, dass die perfekte Gelegenheit zu dir kommt – mach den ersten Schritt!
✨Tipp Nummer 4
Zeige deine Leidenschaft für das Thema! In deinem Gespräch kannst du Beispiele aus deinen Studien oder Projekten anführen, die deine Begeisterung und dein Wissen über LLMs und deren Evaluation unter Beweis stellen.
Wir glauben, dass du diese Fähigkeiten brauchst, um Working Student (m/f/d) LLM Agent Evaluation & Benchmarking mit Bravour zu bestehen
Einige Tipps für deine Bewerbung 🫡
Sei du selbst!:Wenn du deine Bewerbung schreibst, sei authentisch und zeig uns, wer du wirklich bist. Wir suchen nach Menschen, die Leidenschaft für das haben, was sie tun, also lass das in deinen Worten durchscheinen!
Mach es klar und präzise:Halte deine Bewerbung übersichtlich und auf den Punkt. Verwende klare Sprache und vermeide unnötigen Jargon. Wir wollen schnell verstehen, warum du die perfekte Ergänzung für unser Team bist!
Zeig deine Fähigkeiten:Nutze die Gelegenheit, um deine relevanten Fähigkeiten und Erfahrungen hervorzuheben. Wenn du mit Python oder LLM-Frameworks gearbeitet hast, erzähl uns davon! Wir lieben es, wenn Bewerber ihre technischen Skills klar darstellen.
Bewirb dich über unsere Website:Vergiss nicht, dich über unsere Website zu bewerben! Das macht es für uns einfacher, deine Bewerbung zu finden und zu bearbeiten. Wir freuen uns darauf, von dir zu hören!
Wie man sich auf ein Vorstellungsgespräch bei Agile Robots SE vorbereitet
✨Verstehe die Rolle
Mach dich mit den spezifischen Anforderungen der Stelle vertraut. Lies die Jobbeschreibung gründlich durch und überlege, wie deine Fähigkeiten und Erfahrungen zu den Aufgaben passen. So kannst du gezielt auf Fragen eingehen und zeigen, dass du die Erwartungen verstehst.
✨Bereite praktische Beispiele vor
Denke an konkrete Projekte oder Erfahrungen, die deine Fähigkeiten in Python, Datenanalyse oder experimentellem Design demonstrieren. Bereite dich darauf vor, diese Beispiele während des Interviews zu erläutern, um deine Eignung für die Position zu untermauern.
✨Fragen stellen
Bereite einige Fragen vor, die du dem Interviewer stellen kannst. Das zeigt dein Interesse an der Rolle und dem Unternehmen. Du könntest zum Beispiel nach den aktuellen Projekten im Bereich LLM-Agenten oder den Herausforderungen bei der Entwicklung von Benchmarking-Harnesses fragen.
✨Sei du selbst
Versuche, authentisch zu sein und deine Persönlichkeit zu zeigen. Die Interviewer möchten nicht nur deine fachlichen Qualifikationen kennenlernen, sondern auch, wie gut du ins Team passt. Zeige deine Begeisterung für die Technologie und die Möglichkeiten, die die Rolle bietet.
