QA Automation Engineer

Für ein KI-Plattform Projekt suchen wir erfahrene QA-Unterstützung durch Freelancer mit einem klaren Fokus auf Automatisierung. Ziel ist, die Plattform und den Chatbot vor dem Launch automatisiert, reproduzierbar und belastbar abzusichern.

Die Plattform bündelt KI-gestützte Chatbot- und Agenten-Use-Cases auf Basis von RAG, ausgewählten Wissensquellen, Guardrails, APIs und Frontend-Integrationen. Der Fokus liegt auf strukturierter Q, Testautomatisierung und der automatisierten Bewertung von RAG-Antwortqualität (Evals). Für die Evaluationen soll eine pragmatische Grundlage aufgebaut werden, idealerweise mit Azure AI Foundry. Das manuelle Testen im Tagesgeschäft übernimmt das interne QA Team. Diese Freelance-Rolle konzentriert sich auf die Schwerpunkte Testautomatisierung und automatisierte RAG-/LLM-Evaluation.

Rahmenbedingungen:

• Start: ASAP
• Dauer: 5+ Monate
• Auslastung: 50-80%
• Ort: Remote

Deine Verantwortungen:

• Testautomatisierung: Automatisierte Tests für regressionkritische Frontend-, API- und Integrationsflows aufbauen und pflegen; Testautomatisierung in bestehende GitLab-CI/CD-Prozesse integrieren und als Quality Gate vor Deployments nutzbar machen; Automatisierte Testfälle für Chatbot, API und Frontend definieren.
• RAG-/LLM-Evaluation: Automatisierte LLM-/RAG-Evaluationen aufsetzen, inklusive Eval-Datensätzen, Qualitätsmetriken, Schwellenwerten und reproduzierbaren Eval-Runs; RAG-Antworten anhand definierter Qualitätskriterien prüfen, z. B. fachliche Korrektheit, Verständlichkeit, Prägnanz, Zielgruppenorientierung und Quellenbezug.
• Übergreifend: QA-Automatisierungs- und Eval-Prozess für Plattform und Chatbot strukturieren; Testdaten, Eval-Sets, Testprotokolle und QA-Statusübersichten pflegen; Go-/No-Go-Einschätzung für den Launch vorbereiten.

Wir suchen Dich:

• Mehrjährige Erfahrung als QA (Automation) Engineer für Web-, Plattform- oder digitale Produktumfelder.
• Praktische Erfahrung im Aufbau und in der Pflege automatisierter Tests, z. B. mit Playwright, WebdriverIO oder vergleichbaren Frameworks.
• Sicher im Umgang mit Testkonzepten, Testfällen, Bug-Reports und Regressionstests.
• Erfahrung mit CI/CD-Pipelines, idealerweise GitLab, und der Integration automatisierter Tests in Deployment-Prozesse.
• Technisches Verständnis für APIs, Web-Frontends, CMS-basierte Systeme und integrierte Plattformarchitekturen.
• Erfahrung in agilen Teams und enger Abstimmung mit Entwicklung und Produktmanagement.
• Strukturierte, analytische und eigenständige Arbeitsweise.
• Sehr gute Deutschkenntnisse, mindestens C1.

Zusätzliche Anforderungen:

• Erfahrung mit KI-, Chatbot-, RAG- oder Multi-Agenten-Systemen.
• Erfahrung mit LLM-/RAG-Evaluationen, idealerweise mit Azure AI Foundry / Azure AI Evaluation SDK, Langfuse, RAGAS, DeepEval, Promptfoo, LangSmith, Arize Phoenix oder vergleichbaren Eval-/Observability-Frameworks.
• Verständnis von Qualitätsmetriken wie Groundedness, Relevance, Coherence, Fluency und Completeness.
• Erfahrung mit Eval-Datensätzen, Ground Truth, Golden Sets oder synthetischen Testfällen.
• Erfahrung mit API-Tests, Performance-Tests oder Penetrationstests.
• Erfahrung mit Content-Management-Systemen, idealerweise Strapi.

Rekrutierungsprozess: Bei Ekkiden sind wir bestrebt, jedem Kandidaten eine positive Erfahrung zu bieten. Erstgespräch: Unser Rekrutierungsteam wird sich mit Ihnen in Verbindung setzen, um Ihre Motivation und Erwartungen zu besprechen. Interviews: Je nach der Rolle, für die Sie sich bewerben, führen Sie ein oder zwei Interviews mit unseren Geschäftsleitern. Kundengespräch: Schließlich haben Sie die Möglichkeit, den Kunden kennenzulernen. Obwohl dies unser Standardprozess ist, können wir Anpassungen vornehmen, die auf spezifischen Umständen basieren.