Software Engineering & DevOps AI Rater/Evaluator

Übersicht

LILT baut ein globales Netzwerk von Fachexperten auf, um eine qualitativ hochwertige KI-Bewertung in den Bereichen Training, Benchmarking, Red-Teaming und fortlaufende Modellüberwachung zu unterstützen. Wir suchen Fachleute im Bereich Software Engineering und DevOps, die Expertenurteile zu menschlichen KI-Bewertungsabläufen beitragen, die von führenden Unternehmen und Hyperscalern genutzt werden.

Diese Rolle ist für Fachleute gedacht, die verstehen, wie Softwaresysteme, Infrastruktur und Entwicklungspraktiken in realen Produktionsumgebungen funktionieren und die dieses Fachwissen anwenden können, um mehrsprachige KI-Systeme zu bewerten, zu beurteilen und zu verbessern. Ihr Beitrag wird direkt die Qualität, Sicherheit und Einsatzbereitschaft mehrsprachiger KI-Modelle beeinflussen.

Track A: Software Engineering & DevOps AI Rater

Rater führen strukturierte Bewertungsaufgaben unter Verwendung klar definierter Rubriken und Anweisungen aus.

Verantwortlichkeiten

• Bewertung von KI-Ausgaben im Zusammenhang mit Software Engineering, DevOps und Infrastrukturthemen
• Durchführung strukturierter Bewertungen, Vergleiche, Klassifizierungen und Urteilsaufgaben
• Beurteilung der technischen Richtigkeit, Vollständigkeit, Sicherheitsimplikationen und Ausrichtung an Best Practices
• Identifizierung von Halluzinationen, fehlerhaftem Code, unsicheren Empfehlungen oder irreführenden Systemanleitungen
• Konsistente Anwendung von domänenspezifischen Engineering- und DevOps-Richtlinien über alle Aufgaben hinweg

Idealer Hintergrund

• Software-Ingenieure, Site Reliability Engineers, DevOps-Ingenieure oder Plattform-Ingenieure
• Erfahrung mit Produktionssystemen, CI/CD-Pipelines, Cloud-Infrastruktur oder verteilten Systemen
• Starke Aufmerksamkeit für Details und Komfort bei der Arbeit mit strukturierten Bewertungskriterien

Track B: Software Engineering & DevOps AI Evaluator (Senior Track)

Evaluatoren bieten eine höhere technische Aufsicht und helfen dabei, wie die Bewertung durchgeführt wird.

Verantwortlichkeiten

• Validierung und Verfeinerung von Bewertungsrubriken und Umgang mit Randfällen
• Durchführung von Schlichtungen, wenn Rater nicht übereinstimmen
• Durchführung von Fehleranalysen und qualitativen Überprüfungen des Modellverhaltens
• Zusammenarbeit mit LILT-Forschung, Produkt- und Kunden-Teams bei der Bewertungsplanung
• Unterstützung von Red-Teaming, Sicherheitsüberprüfungen und Modellbereitschaftseinschätzungen

Idealer Hintergrund

• Senior Software-Ingenieure, DevOps-Leiter, SREs oder technische Architekten
• Erfahrung in der Definition technischer Standards, Überprüfung komplexer Randfälle oder Beratung zu Systemdesign und Zuverlässigkeit
• Fähigkeit, nuancierte technische Argumentation und Abwägungen klar zu erklären

Bewertungsfokus & Anforderungen

Arten der KI-Bewertungsarbeit basierend auf Projektanforderungen:

• Bewertung von Inhalten im Bereich Software Engineering und Infrastruktur
• Bewertung der Code-Richtigkeit und -Begründung
• Bewertung von DevOps, CI/CD und Cloud-Architektur
• Sicherheits- und zuverlässigkeitsorientiertes Red-Teaming
• Fortlaufende Modellüberwachung und Regressionstests

Was wir suchen

• Tiefe Fachkenntnisse im Bereich Software Engineering, DevOps oder Infrastruktur
• Starkes technisches Urteilsvermögen und die Fähigkeit, Kriterien konsistent anzuwenden
• Komfort bei der Arbeit mit strukturierten Bewertungsabläufen
• Fähigkeit, Argumentationen klar zu erklären, insbesondere in komplexen oder risikobehafteten technischen Szenarien
• Zuverlässigkeit, Professionalität und Respekt für Qualitätsstandards

Engagement-Modell

• Vertragsbasiert, flexible Teilnahme
• Projektbasierte Arbeit mit klaren Erwartungen und Zeitrahmen
• Möglichkeiten für wiederkehrende Arbeiten basierend auf Leistung und Nachfrage
• Vergütung wird im Voraus pro Projekt oder Aufgabentyp kommuniziert

Warum diese Arbeit wichtig ist

• Bereitstellung genauer und sicherer technischer Anleitungen
• Ausrichtung an realen Best Practices im Bereich Engineering und DevOps
• Zuverlässig, sicher und vertrauenswürdig über Sprachen hinweg

Sprachliche Anforderungen

• Native oder professionelle Sprachbeherrschung in einer oder mehreren unterstützten Sprachen ist erforderlich
• Unterstützte Sprachen umfassen über 30 globale Sprachen
• Sprachspezifische Nuancen werden durch Screening und aufgabenbasierte Bewertung beurteilt, nicht durch separate Stellenbeschreibungen
• Englischkenntnisse sind erforderlich für Richtlinien, Feedback und Zusammenarbeit

LILTs Mission ist es, die Informationen der Welt für jeden zugänglich zu machen, unabhängig von der Sprache, die er spricht. Treten Sie unserer globalen Gemeinschaft bei, die auf Innovation und Exzellenz gedeiht. Unser kollektives Wissen, unsere Einzigartigkeit und unsere Fähigkeiten liefern mehrsprachige KI- und menschlich geprüfte Dienstleistungen für Unternehmen, Regierungen und KI-Entwickler auf der ganzen Welt.

Verdienen Sie Geld. Haben Sie Spaß. Fördern Sie das menschliche Wissen. Arbeiten Sie an vielfältigen Projekten von überall und jederzeit, wann immer Sie möchten. Erhalten Sie schnell und fair Ihr Geld und bauen Sie Ihr berufliches Netzwerk in einer unterstützenden Gemeinschaft auf – alles durch einen optimierten Bewerbungsprozess, der auf Ihre Expertise zugeschnitten ist.

Die im Rahmen Ihres Bewerbungsprozesses gesammelten und verarbeiteten Informationen, einschließlich aller Stellenbewerbungen, die Sie einreichen, unterliegen LILTs Datenschutzrichtlinie.

LILT verpflichtet sich zu einem fairen, integrativen und transparenten Einstellungsprozess. Im Rahmen unserer Rekrutierungsbemühungen können wir künstliche Intelligenz (KI) und automatisierte Tools einsetzen, um bei der Bewertung von Bewerbungen zu helfen, einschließlich Lebenslauf-Screening, Bewertungsbewertung und Interviewanalyse. Diese Tools sollen die menschliche Entscheidungsfindung unterstützen und uns helfen, qualifizierte Kandidaten effizient und objektiv zu identifizieren. Alle endgültigen Einstellungsentscheidungen werden von Menschen getroffen. Wenn Sie Bedenken haben, Anpassungen benötigen oder von der Verwendung von KI in unserem Einstellungsprozess absehen möchten, lassen Sie es uns bitte wissen.

LILT ist ein Arbeitgeber, der Chancengleichheit bietet. Wir gewähren allen Personen ohne Rücksicht auf Rasse, Religion, Hautfarbe, nationale Herkunft, Abstammung, Geschlecht, sexuelle Orientierung, Geschlechtsidentität, Alter, körperliche oder geistige Behinderung, medizinische Bedingungen, genetische Merkmale, Veteranen- oder Familienstand, Schwangerschaft oder jede andere Klassifizierung, die durch geltende lokale, staatliche oder bundesstaatliche Gesetze geschützt ist, Chancengleichheit. Wir verpflichten uns zu den Grundsätzen fairer Beschäftigung und zur Beseitigung aller diskriminierenden Praktiken.