Auf einen Blick
- Aufgaben: Bewerte die Qualität von Interaktionen mit modernen Codierungsagenten wie OpenAI Codex.
- Unternehmen: Innovatives Unternehmen im Bereich KI-Entwicklung mit flexibler Arbeitskultur.
- Vorteile: Attraktive Vergütung von $100-$200 pro Stunde und flexible Arbeitszeiten.
- Weitere Informationen: Möglichkeit zur beruflichen Weiterentwicklung und Zusammenarbeit mit führenden Experten.
- Warum dieser Job: Gestalte die Zukunft der KI-Interaktion und arbeite an spannenden Projekten.
- Qualifikationen: Erfahrener Software-Ingenieur mit starkem Hintergrund in Python oder JavaScript.
Das prognostizierte Gehalt liegt zwischen 200 - 200 € pro Stunde.
- Senior AI Interaction Evaluator (Codex / Claude Code)
- Contract | $100-$200/hour | 10-20 hrs/week | Start ASAP (through early May)
Check out this Loom video for more details!
We're looking for highly experienced software engineer (SR+) to help evaluate the quality of interactions with modern coding agents such as Open AI Codex and Claude Code.
This is not a traditional engineering role.
You won't be writing production code.
You'll be evaluating something harder: whether the model thinks like a great engineer.
- What This Role Actually Is
- Whether the response makes sense
- Whether the preamble and reasoning are useful
- Whether the output reflects strong engineering judgment
- Whether the interaction feels right to an experienced developer
- What You'll Be Doing
- Evaluate AI-generated coding interactions end-to-end
- Useful
- Correct (at a high level)
- Aligned with how a strong engineer would think
- Assess the quality of explanations and reasoning , not just code
- Distinguish between different levels of response quality (e. g. what makes something a 2 vs 4 )
Provide clear, opinionated feedback on
- What worked
- What didn't
- What felt "off" or misleading
- Help define what great looks like when interacting with tools like Cursor
- What We Mean by "Taste"
• Does this feel like something a strong engineer would actually say?
• Is this explanation helpful, or just technically correct?
• Is the model guiding the user well, or just dumping output?
• Would this interaction build or erode trust?
Who You Are
- Staff / Principal-level engineer (or equivalent experience)
• Strong background in one of the below
- Type Script / Java Script
- Python
• Hands-on experience using
- Open AI Codex
- Claude Code
- Cursor
- Deep familiarity with modern AI-assisted dev workflows
- Able to evaluate code without needing to fully execute or deeply review every line
- Comfortable giving direct, opinionated feedback
- High bar for what "good engineering" looks like
- Nice to Have
- Experience with tools like Cursor or similar AI-first IDEs
- Prior exposure to prompt design or evaluation workflows
- Experience mentoring senior engineers or defining engineering standards
- Engagement Details
- Hours: ~10-20 hours/week
- Duration: Through early May (with possible extension)
- Start: ASAP
Process
- Take-home evaluation exercise
- One behavioral interview
- #J-18808-Ljbffr
Senior Python Engineer - LLM Code Evaluation Arbeitgeber: G2i
G2i ist ein hervorragender Arbeitgeber, der eine dynamische und innovative Arbeitsumgebung bietet, in der Ingenieure an der Spitze der KI-Technologie arbeiten können. Mit einem starken Fokus auf Teamwachstum und kontinuierliche Verbesserung fördert G2i eine Kultur des Eigentums und der Zusammenarbeit, während die Mitarbeiter die Möglichkeit haben, ihre Karriere durch gezielte Entwicklung und Mentoring voranzutreiben. Die remote-first Struktur ermöglicht es den Mitarbeitern, flexibel zu arbeiten und gleichzeitig Teil eines globalen Teams zu sein, das sich leidenschaftlich für Qualität und Agilität einsetzt.
StudySmarter Expertenrat🤫
Wir sind der Meinung, dass du so Senior Python Engineer - LLM Code Evaluation erhalten könntest
✨Bau dir dein technisches Portfolio auf
Als Freiberufler in der Software-Entwicklung solltest du ein starkes Portfolio haben, das deine bisherigen Arbeiten zeigt. Nutze Plattformen wie GitHub, um deine Projekte sichtbar zu machen. Zeige, was du kannst und mache potenzielle Kunden neugierig auf deine Fähigkeiten!
✨Teilnahme an Tech-Meetups und Konferenzen
Netzwerken ist in der Software-Entwicklung entscheidend! Besuche lokale Tech-Meetups oder Konferenzen, um Gleichgesinnte zu treffen und dir ein Netzwerk aufzubauen. Oft entstehen dort direkte Kontakte, die dir helfen können, neue Projekte zu finden oder Kunden zu gewinnen.
✨Nutze Freelancer-Plattformen smart
Verwende Plattformen wie Upwork oder Freelancer, um neue Projekte zu finden. Achte darauf, ein überzeugendes Profil zu erstellen, das deine Spezialgebiete hervorhebt. Aber versuche auch, langfristige Beziehungen zu deinen Kunden aufzubauen, um wiederkehrende Aufträge zu sichern.
✨Direkte Bewerbung bei interessanten Unternehmen
Wenn du Unternehmen wie G2i interessant findest, zögere nicht, dich direkt zu bewerben! Unternehmen sind oft auf der Suche nach talentierten Freelancern. Ein gezielter Kontakt über unsere Website kann dich von anderen Bewerbern abheben.
Wir glauben, dass du diese Fähigkeiten brauchst, um Senior Python Engineer - LLM Code Evaluation mit Bravour zu bestehen
Einige Tipps für deine Bewerbung 🫡
Zeig uns deinen Code!:Als Freiberufler im Bereich Software-Entwicklung solltest du dein Portfolio nicht vergessen! Füge einige deiner besten Projekte hinzu, die deine Fähigkeiten glänzen lassen. Zeige, was du drauf hast, indem du auf GitHub verlinkst und vielleicht die Technologien auflistest, mit denen du gearbeitet hast. So können wir sofort sehen, was du alles kannst!
Klarheit beim Preis und Verfügbarkeit:Pack dein Preismodell und deine Verfügbarkeit gleich mit in deine Bewerbung. Da du freiberuflich arbeitest, ist es wichtig, dass wir wissen, wie viel du verlangst und wann du verfügbar bist. Das hilft uns bei der Planung und zeigt uns, dass du weißt, was du wert bist!
Hebe deine Soft Skills hervor:Neben technischem Wissen sind auch Soft Skills wie Kommunikation und Teamarbeit entscheidend in der Software-Entwicklung. In deiner Bewerbung solltest du Beispiele anführen, wo du erfolgreich im Team gearbeitet oder ein Projekt geleitet hast. Das gibt uns einen Eindruck davon, wie du in unsere Kultur passen würdest!
Kundenspezifische Bewerbung:Denk daran, deine Bewerbung an G2i anzupassen! Nimm dir Zeit, um zu zeigen, warum du genau für Senior Python Engineer - LLM Code Evaluation bei uns die richtige Wahl bist. Zeig, dass du dich mit unseren Projekten auseinandergesetzt hast und warum du genau hier arbeiten möchtest. Das hebt dich von anderen ab!
Wie man sich auf ein Vorstellungsgespräch bei G2i vorbereitet
✨Zeige deine Coding-Skills!
Als Freiberufler in der Software-Entwicklung musst du deine technischen Fähigkeiten unter Beweis stellen. Bereite dich darauf vor, Coding-Challenges oder technische Fragen zu lösen, die dir helfen, dein Verständnis und deine Problemlösungsfähigkeiten zu zeigen. Es ist gut, wenn du Beispiele aus deinen bisherigen Projekten parat hast, um zu demonstrieren, wie du Herausforderungen gemeistert hast.
✨Präsentiere dein Portfolio
Dein Portfolio ist das A und O, wenn es um Freelancing geht! Stelle sicher, dass du einige deiner besten Arbeiten zusammengetragen hast, vielleicht sogar als Live-Demo, und sei bereit, über die Technologien und Ansätze zu sprechen, die du benutzt hast. Zeige, wie deine Projekte einen realen Einfluss hatten oder wie sie Probleme gelöst haben, die potentielle Kunden interessieren könnten.
✨Verstehe die Kundenanforderungen
Freiberufliche Software-Entwickler sind oft mit spezifischen Kundenbedürfnissen konfrontiert. Stelle sicher, dass du alle Anforderungen und Projektziele genau verstehst. Bereite Fragen vor, die zeigen, dass du an der Lösung der Probleme des Kunden interessiert bist, und nicht nur an der reinen Programmierung – Kunden wollen Partner, die ihre Vision teilen!
✨Sprich über Zeitmanagement und Kosten
Da du freiberuflich arbeitest, ist es wichtig, dein Zeitmanagement und deine Preisstrategie klar zu kommunizieren. Sei bereit zu erklären, wie du Projekte priorisierst und Deadlines einhältst. Erwähne auch, wie du deine Tarife festlegst und welche Leistungen im Preis enthalten sind – Transparenz ist der Schlüssel zu einer erfolgreichen Zusammenarbeit!
