Auf einen Blick
- Aufgaben: Entwickle herausfordernde Aufgaben zur Bewertung von KI-Coding-Agenten in realistischen Umgebungen.
- Unternehmen: Mindrift verbindet Spezialisten mit spannenden AI-Projekten führender Tech-Unternehmen.
- Vorteile: Flexibles Arbeiten, projektbasierte Bezahlung und die Möglichkeit, innovative Technologien zu nutzen.
- Weitere Informationen: Teilzeitprojekt mit flexibler Zeiteinteilung und hervorragenden Entwicklungsmöglichkeiten.
- Warum dieser Job: Gestalte die Zukunft der KI und arbeite an echten Herausforderungen in der Softwareentwicklung.
- Qualifikationen: Erfahrung in Softwareentwicklung, insbesondere Python, und Kenntnisse in Testautomatisierung.
Das prognostizierte Gehalt liegt zwischen 5000 - 7000 € pro Monat.
Bitte reichen Sie Ihren Lebenslauf in Englisch ein und geben Sie Ihr Englischniveau an. Mindrift verbindet Spezialisten mit projektbasierten KI-Möglichkeiten für führende Technologieunternehmen, die sich auf das Testen, Bewerten und Verbessern von KI-Systemen konzentrieren. Die Teilnahme erfolgt projektbasiert, nicht als feste Anstellung.
Was diese Gelegenheit beinhaltet:
- Wir erstellen einen Datensatz zur Bewertung von KI-Coding-Agenten – wie gut ein Modell reale Entwickleraufgaben bewältigt.
- Sie erstellen herausfordernde Aufgaben und Bewertungskriterien innerhalb realistischer simulierter Umgebungen:
- Virtuelle Unternehmen gemäß einem übergeordneten Plan aufbauen - Codebasis, Infrastruktur und Kontext (Gespräche, Dokumentation, Tickets), die eine realistische Umgebung mit Entwicklungsgeschichte bilden.
- Aufgaben aus Zwischenzuständen des virtuellen Unternehmens zusammenstellen und kalibrieren: den Prompt erstellen, Bewertungskriterien definieren und sicherstellen, dass die Aufgabe lösbar ist und die Bewertung fair ist.
- Aufgaben in isolierten Umgebungen entwerfen - Emulationen eines Entwicklerarbeitsplatzes: eine Linux-Maschine mit Entwicklungstools (Terminal, CLI), MCP-Servern (Repository, Aufgabenverfolger, Messenger, Dokumentation usw.) und einer realen Webanwendung-Codebasis.
- Tests schreiben, die alle richtigen Lösungen akzeptieren und falsche ablehnen - weder zu streng (brechen bei gültigen Ansätzen) noch zu nachsichtig (lassen schlechte durch).
- Mit einem KI-Agenten an Tests iterieren - überprüfen, ob sie echte Probleme erfassen, keine schlechten Lösungen übersehen und bei guten nicht versagen.
- Code, der von Agenten geschrieben wurde, überprüfen, analysieren, warum ein Agent gescheitert oder erfolgreich war, und Randfälle sowie gegnerische Szenarien entwerfen.
- Basierend auf dem Feedback von Experten-QA-Überprüfern iterieren, die Ihre Arbeit anhand von Qualitätskriterien bewerten.
Was dies NICHT ist:
- Keine Datenkennzeichnung
- Keine Prompt-Engineering
- Kein Schreiben von Code von Grund auf - der Agent schreibt den Großteil des Codes; Sie leiten und bewerten.
Ein wesentlicher Teil der Arbeit wird zusammen mit KI erledigt - es ist sehr schwierig, Aufgaben zu erstellen, die Grenzmodelle herausfordern, ohne Grenzmodelle zu verwenden.
Was wir suchen:
- Diese Gelegenheit eignet sich gut für erfahrene Entwickler, Software-Ingenieure und/oder Testautomatisierungsspezialisten, die offen für Teilzeitprojekte sind.
- Idealerweise haben die Mitwirkenden:
- Abschluss in Informatik, Softwaretechnik oder verwandten Bereichen.
- 5+ Jahre Erfahrung in der Softwareentwicklung, hauptsächlich in Python (FastAPI, pytest, async/await, Subprozess, Dateioperationen).
- Hintergrund in der Full-Stack-Entwicklung, mit Erfahrung im Aufbau von React-basierten Schnittstellen (JavaScript/TypeScript) und robusten Backend-Systemen.
- Erfahrung im Schreiben von Tests (funktional, Integration - nicht nur deren Ausführung).
- Docker-Container und Vertrautheit mit Infrastrukturtools (Postgres, Kafka, Redis).
- CI/CD-Verständnis (GitHub Actions als Benutzer: Trigger, Labels, Ergebnisse lesen).
- Englischkenntnisse - B2.
Sie müssen kein Experte in jedem Punkt sein, aber Sie sollten sich wohlfühlen, Code über den gesamten Stack hinweg zu lesen und zu verstehen.
Warum das schwierig ist:
- Grenzmodelle sind bereits gut im Codieren. Eine Aufgabe zu erstellen, die die besten Modelle wirklich herausfordert, ist nicht trivial.
- Sie müssen tief verstehen, wo Modelle scheitern und welche Szenarien den Unterschied zwischen einer guten und einer schlechten Lösung aufzeigen.
- Aufgaben haben viele gültige Lösungen. Tests zu schreiben, die alle richtigen Lösungen akzeptieren und falsche ablehnen, ist schwieriger als es klingt.
Wie es funktioniert:
- Bewerben → Qualifikation(en) bestehen → Projekt beitreten → Aufgaben abschließen → Bezahlt werden.
Aufwandschätzung:
- Aufgaben für dieses Projekt werden auf 20 Stunden geschätzt, abhängig von der Komplexität. Dies ist eine Schätzung und keine Zeitvorgabe; Sie wählen, wann und wie Sie arbeiten.
- Aufgaben müssen bis zur Frist eingereicht werden und die aufgeführten Akzeptanzkriterien erfüllen, um akzeptiert zu werden.
Freelance Agent Evaluation Engineer Arbeitgeber: Mindrift
Mindrift ist ein hervorragender Arbeitgeber, der Fachkräfte mit spannenden, projektbasierten KI-Möglichkeiten verbindet. Unsere Unternehmenskultur fördert Innovation und Zusammenarbeit, während wir unseren Mitarbeitern die Flexibilität bieten, ihre Projekte selbst zu gestalten und ihre Fähigkeiten in einem dynamischen Umfeld weiterzuentwickeln. Bei uns haben Sie die Möglichkeit, an der Spitze der Technologie zu arbeiten und Ihre Expertise in der Softwareentwicklung und Testautomatisierung einzubringen, während Sie gleichzeitig von einem unterstützenden Team profitieren.
StudySmarter Expertenrat🤫
Wir sind der Meinung, dass Sie so Freelance Agent Evaluation Engineer erhalten könnten
✨Bau dir dein technisches Portfolio auf
Als Freiberufler in der Software-Entwicklung solltest du ein starkes Portfolio haben, das deine bisherigen Arbeiten zeigt. Nutze Plattformen wie GitHub, um deine Projekte sichtbar zu machen. Zeige, was du kannst und mache potenzielle Kunden neugierig auf deine Fähigkeiten!
✨Teilnahme an Tech-Meetups und Konferenzen
Netzwerken ist in der Software-Entwicklung entscheidend! Besuche lokale Tech-Meetups oder Konferenzen, um Gleichgesinnte zu treffen und dir ein Netzwerk aufzubauen. Oft entstehen dort direkte Kontakte, die dir helfen können, neue Projekte zu finden oder Kunden zu gewinnen.
✨Nutze Freelancer-Plattformen smart
Verwende Plattformen wie Upwork oder Freelancer, um neue Projekte zu finden. Achte darauf, ein überzeugendes Profil zu erstellen, das deine Spezialgebiete hervorhebt. Aber versuche auch, langfristige Beziehungen zu deinen Kunden aufzubauen, um wiederkehrende Aufträge zu sichern.
✨Direkte Bewerbung bei interessanten Unternehmen
Wenn du Unternehmen wie Mindrift interessant findest, zögere nicht, dich direkt zu bewerben! Unternehmen sind oft auf der Suche nach talentierten Freelancern. Ein gezielter Kontakt über unsere Website kann dich von anderen Bewerbern abheben.
Wir glauben, dass du diese Fähigkeiten brauchst, um Freelance Agent Evaluation Engineer mit Bravour zu bestehen
Einige Tipps für deine Bewerbung 🫡
Zeig uns deinen Code!:Als Freiberufler im Bereich Software-Entwicklung solltest du dein Portfolio nicht vergessen! Füge einige deiner besten Projekte hinzu, die deine Fähigkeiten glänzen lassen. Zeige, was du drauf hast, indem du auf GitHub verlinkst und vielleicht die Technologien auflistest, mit denen du gearbeitet hast. So können wir sofort sehen, was du alles kannst!
Klarheit beim Preis und Verfügbarkeit:Pack dein Preismodell und deine Verfügbarkeit gleich mit in deine Bewerbung. Da du freiberuflich arbeitest, ist es wichtig, dass wir wissen, wie viel du verlangst und wann du verfügbar bist. Das hilft uns bei der Planung und zeigt uns, dass du weißt, was du wert bist!
Hebe deine Soft Skills hervor:Neben technischem Wissen sind auch Soft Skills wie Kommunikation und Teamarbeit entscheidend in der Software-Entwicklung. In deiner Bewerbung solltest du Beispiele anführen, wo du erfolgreich im Team gearbeitet oder ein Projekt geleitet hast. Das gibt uns einen Eindruck davon, wie du in unsere Kultur passen würdest!
Kundenspezifische Bewerbung:Denk daran, deine Bewerbung an Mindrift anzupassen! Nimm dir Zeit, um zu zeigen, warum du genau für Freelance Agent Evaluation Engineer bei uns die richtige Wahl bist. Zeig, dass du dich mit unseren Projekten auseinandergesetzt hast und warum du genau hier arbeiten möchtest. Das hebt dich von anderen ab!
Wie man sich auf ein Vorstellungsgespräch bei Mindrift vorbereitet
✨Zeige deine Coding-Skills!
Als Freiberufler in der Software-Entwicklung musst du deine technischen Fähigkeiten unter Beweis stellen. Bereite dich darauf vor, Coding-Challenges oder technische Fragen zu lösen, die dir helfen, dein Verständnis und deine Problemlösungsfähigkeiten zu zeigen. Es ist gut, wenn du Beispiele aus deinen bisherigen Projekten parat hast, um zu demonstrieren, wie du Herausforderungen gemeistert hast.
✨Präsentiere dein Portfolio
Dein Portfolio ist das A und O, wenn es um Freelancing geht! Stelle sicher, dass du einige deiner besten Arbeiten zusammengetragen hast, vielleicht sogar als Live-Demo, und sei bereit, über die Technologien und Ansätze zu sprechen, die du benutzt hast. Zeige, wie deine Projekte einen realen Einfluss hatten oder wie sie Probleme gelöst haben, die potentielle Kunden interessieren könnten.
✨Verstehe die Kundenanforderungen
Freiberufliche Software-Entwickler sind oft mit spezifischen Kundenbedürfnissen konfrontiert. Stelle sicher, dass du alle Anforderungen und Projektziele genau verstehst. Bereite Fragen vor, die zeigen, dass du an der Lösung der Probleme des Kunden interessiert bist, und nicht nur an der reinen Programmierung – Kunden wollen Partner, die ihre Vision teilen!
✨Sprich über Zeitmanagement und Kosten
Da du freiberuflich arbeitest, ist es wichtig, dein Zeitmanagement und deine Preisstrategie klar zu kommunizieren. Sei bereit zu erklären, wie du Projekte priorisierst und Deadlines einhältst. Erwähne auch, wie du deine Tarife festlegst und welche Leistungen im Preis enthalten sind – Transparenz ist der Schlüssel zu einer erfolgreichen Zusammenarbeit!
