ML-QA Engineer

Wir suchen einen ML-QA Engineer mit umfangreicher Automatisierungserfahrung in der Testung intelligenter/agentischer Anwendungen, um unser wachsendes Engineering-Team zu verstärken. Sie spielen eine entscheidende Rolle bei der Sicherstellung der Qualität und Zuverlässigkeit unserer Plattform, indem Sie automatisierte Testframeworks entwickeln, robuste Testfälle schreiben und eng mit Entwicklern, Produktmanagern und DevOps zusammenarbeiten.

Die Rolle geht über traditionelles QA hinaus: Sie arbeiten mit KI-gesteuerten, agentischen Anwendungen, die planen, handeln und sich anpassen können. Ihre Aufgabe wird es sein, sicherzustellen, dass sie unter realen Bedingungen korrekt, sicher und vorhersehbar funktionieren.

• Entwurf, Entwicklung und Wartung automatisierter Testframeworks und Testscripte mit Python
• Integration automatisierter Tests in CI/CD-Pipelines zur Gewährleistung kontinuierlicher Qualität und schneller Rückmeldungen
• Zusammenarbeit mit Entwicklern und Produktmanagern zur frühzeitigen Identifizierung, Reproduktion und Behebung von Fehlern im Lebenszyklus
• Definition und Dokumentation von Testplänen, Strategien und Akzeptanzkriterien für deterministische und agentische Funktionen
• Überprüfung der Beobachtbarkeit und Erklärbarkeit des Verhaltens von Agenten (Protokolle, Spuren, Zwischenaktionen) zur Gewährleistung von Compliance, Transparenz und Nachvollziehbarkeit
• Durchführung von szenariobasierten, explorativen und Chaos-Tests zur Validierung der Entscheidungsfindung von Agenten unter Unsicherheit, Ausfällen und Grenzbedingungen
• Testen von Workflows mit menschlicher Beteiligung, um ordnungsgemäße Eskalationen, Überschreibungen und Benutzersicherheit zu gewährleisten
• Durchführung von Ursachenanalysen bei Produktionsproblemen, einschließlich Fehlverhalten von Agenten, und Beitrag zu langfristigen Lösungen
• Beitrag zur Entwicklung und Durchsetzung von QA-Standards und Best Practices

• Mindestens 5 Jahre Erfahrung in der QA-Engineering mit Schwerpunkt auf Testautomatisierung für Web- und verteilte Systeme
• Erfahrung in der Testung agentischer oder KI-gesteuerter Anwendungen (z.B. autonome Entscheidungsfindung, mehrstufige Workflows)
• Versiert in Python zur Entwicklung von Testscripten, Validierungstools und Datenvalidierungswerkzeugen
• Praktische Erfahrung mit Testframeworks wie PyTest, Selenium oder Playwright für End-to-End- und UI-Tests
• Starkes Verständnis von Software-Testmethoden, einschließlich Unit-, Integrations-, System- und End-to-End-Tests
• Vertrautheit mit REST-APIs und Tools wie Postman oder Swagger für API-Tests
• Starke Problemlösungsfähigkeiten mit der Fähigkeit, über „Happy Path“-Tests hinauszudenken
• Verständnis von Datenvalidierungspipelines und Tests von Datenpipelines, um Integrität und Reproduzierbarkeit über Datensätze hinweg sicherzustellen
• Erfahrung mit szenariobasierten oder Chaos-Testframeworks

• Vertrautheit mit Beobachtungs- und Überwachungstools (z.B. Datadog, Grafana, AWS CloudWatch) zur Validierung des Verhaltens von Agenten
• Erfahrung in der Testung von Mikrodiensten oder serverlosen Architekturen auf AWS
• Vertrautheit mit CI/CD-Tools wie GitHub Actions, Jenkins oder GitLab CI
• Kenntnisse in Sicherheits- und Guardrail-Tests (rollenbasierter Zugriff, Validierung sicherer Aktionen)
• Erfahrung in der Erstellung von Leistungs- und Lasttests für KI-Schnittstellenendpunkte mit Locust oder k6

• Systemdenker: Sie sehen, wie Teile verbunden sind und antizipieren Schwachstellen
• Explorative Denkweise: Komfortabel beim Testen unbekannter Unbekannter
• Domänenneugier: Bereitschaft, tief zu verstehen, wie der Agent in der realen Welt agieren soll
• Ethisches Bewusstsein: Ihnen liegt Sicherheit, Fairness und unbeabsichtigte Folgen in KI-Systemen am Herzen
• Kollaborativ: Sie arbeiten eng mit Ingenieuren, Produkt und Betrieb zusammen, um Vertrauen in unsere Plattform aufzubauen

Bei Beroe X nnamu GmbH priorisieren wir ein ausgewogenes Arbeitsleben. Hier ist, was wir Ihnen bieten:

• 4-Tage-Arbeitswoche & bis zu 24 Tage bezahlter Urlaub – Mehr Zeit zum Auftanken
• Wettbewerbsfähige Vergütung – Fairer Lohn und umfassende Leistungen
• Monatliche Leistungszulage – 40 €/Monat in Gutscheinen für Fitness und andere Vorteile mit Probonio
• Flexible Arbeitsarrangements – Arbeiten Sie so, wie es Ihnen passt
• Berufliche Entwicklung – Zugang zu Schulungen und Zertifizierungen
• Teamevents – Halbjährliche Unternehmensveranstaltungen und monatliche Mittagessen
• Flexibilität beim Arbeiten im Ausland – Remote-Arbeit aus der EU oder ausgewählten Nicht-EU-Ländern für bis zu 8 Wochen im Jahr mit Reisekrankenversicherung

Wir arbeiten nach einem hybriden Modell mit Büros in Berlin und München und bieten eine 32-Stunden-4-Tage-Arbeitswoche. Das bedeutet:

• Büro-Kollaboration: Arbeiten Sie zwei Tage pro Woche im Büro
• Verwalten Sie Ihre eigenen Stunden: Flexibilität, um Ihre Bedürfnisse zu berücksichtigen, solange die Teamziele erreicht werden

Unsere Kultur: Wir setzen uns dafür ein, ein kollaboratives, innovatives und integratives Arbeitsumfeld zu fördern, in dem die Ideen aller zählen. Wir wissen, dass vielfältige Teams zu besseren Ergebnissen führen und begrüßen Bewerber aus allen Hintergründen.

Über uns: Bei Beroe x nnamu GmbH setzen wir uns dafür ein, Beschaffungsteams zu befähigen, informierte, strategische Entscheidungen zu treffen, die echte Auswirkungen haben. Durch die Integration von KI und Spieltheorie bietet unsere Software-as-a-Service (SaaS)-Plattform, nnamu.negotiations, einen bahnbrechenden Ansatz für komplexe, aber autonome Verhandlungen.

Die Herausforderung, die wir lösen: Trotz des nachgewiesenen Potenzials der Spieltheorie, die Verhandlungsergebnisse erheblich zu verbessern – möglicherweise ein zusätzliches USD 1 Billion an Wert freizusetzen – bleibt ihre Anwendung in Geschäftverhandlungen selten, inkonsistent und schwer skalierbar. Diese Lücke stellt eine große Chance dar, aber auch eine Herausforderung, die viele Unternehmen noch nicht überwunden haben.