Test Engineer (AI)

Bei Sixsentix testen wir nicht nur Software – wir beschleunigen Innovationen. Als führender Anbieter von Qualitätssicherungs- und Softwaretestdiensten befähigen wir globale Unternehmen, kontinuierlich schneller und intelligenter hochwertige Lösungen bereitzustellen. Unsere Geheimwaffe? Eine furchtlose Mischung aus modernsten Werkzeugen, bewährten Methoden und einem Ansatz, der auf mutigen Ideen basiert.

Wir sind die treibende Kraft hinter einigen der erfolgreichsten digitalen Transformationen und Plattforminnovationen in Europa und darüber hinaus.

Wirkung ab dem ersten Tag: Ihre Arbeit wird direkt die Digitalisierung führender Unternehmen gestalten.

Expertenzusammenarbeit: Arbeiten Sie mit einigen der klügsten Köpfe im Bereich Qualitätssicherung und Testing zusammen.

Globale Reichweite, lokale Unterstützung: Seien Sie Teil eines vielfältigen, internationalen Teams mit Beratern in der Schweiz, Serbien, Österreich, Deutschland, Polen und den VAE.

Kontinuierliches Lernen: Wir fördern Wachstum – durch Schulungen, Mentoring und eine Kultur, die Neugierde feiert.

Inklusive Kultur: Wir schätzen Vielfalt und glauben, dass unterschiedliche Perspektiven uns stärker machen.

Wer wir suchen: Sie sind ein motivierter, teamorientierter Profi, der in dynamischen Umgebungen gedeiht. Sie genießen es, komplexe Probleme zu lösen, über Grenzen hinweg zusammenzuarbeiten und außergewöhnlichen Wert für Kunden als Berater zu liefern. Bei Sixsentix finden Sie einen Ort, an dem Ihre Ideen zählen und Ihr Wachstum Priorität hat.

Was wir bieten:

• Ein Umfeld, in dem Sie Ihre bisherigen Erfahrungen voll ausschöpfen und neue Arbeitsweisen anwenden können, indem Sie unsere Dienstleistungen mit KI und innovativen Ansätzen (Agent Business Model) durchführen.
• Signifikante berufliche Entwicklung im sich schnell entwickelnden Bereich der KI-Governance.
• Die Chance, mit modernsten KI-Technologien zu arbeiten.
• Einblicke in aufkommende regulatorische Rahmenbedingungen und Branchenstandards.
• Gelegenheiten, die KI-Strategie auf Unternehmensebene zu beeinflussen.
• Fesselnde Projekte in verschiedenen Sektoren.
• Eine Gemeinschaft von Fachleuten in Qualitätssicherung und IT.
• Flexible Arbeitszeiten mit der Option, von zu Hause aus zu arbeiten.
• Teamevents, die Ihnen helfen, sich zu vernetzen und Wissen mit Ihren Kollegen auszutauschen.
• Attraktive Zusatzleistungen wie zusätzliche Urlaubstage, Sportförderung, Treueprämien und mehr.

Ihre Verantwortlichkeiten:

• Validierung und Test von KI-Systemen.
• Entwurf und Implementierung von Testframeworks für LLM-basierte Anwendungen, Multi-Agenten-Systeme und RAG-Pipelines.
• Bewertung von KI-Ausgaben auf Prägnanz, Vollständigkeit, semantische Genauigkeit, faktische Richtigkeit, kontextuelle Relevanz, Konsistenz des Tons, Vorurteile, Sicherheit und Compliance.
• Implementierung von Governance-Workflows, Risikobewertungsmethoden und Compliance-Berichterstattung im Rahmen des gesamten KI-Governance- und Risikomanagementrahmens bei Kunden.
• Einrichtung einer kontinuierlichen Überwachung für Produktions-KI-Systeme mit automatisierten Warnungen bei Anomalien.
• Validierung von LLM-APIs über mehrere Anbieter hinweg mit Tools wie Postman, REST Assured und pytest.
• Integration von KI-Test-Suiten in CI/CD-Pipelines für Regressionstests, Benchmarking und Bereitstellungsgates.
• Einrichtung von KI-Plattformen und -Komponenten in Kundenumgebungen in enger Zusammenarbeit mit deren IT-Sicherheits-, I&AM- und Infrastrukturteams.
• Verwaltung der Versionskontrolle für Eingabeaufforderungen und Testfälle mit Git und Nutzung von MLOps-Tools wie MLflow oder Weights & Biases.
• Verwaltung verschiedener Datenformate (JSON, CSV, Parquet, JSONL) und Erstellung von Evaluierungsdatensätzen aus realen Szenarien.
• Entwurf automatisierter Metriken und Workflows mit menschlicher Beteiligung, einschließlich Prozesse zur Inter-Annotator-Vereinbarung.
• Verständnis und Erklärung von Konzepten rund um Wissensdatenbanken, Vektorisierung und Ingestion an Stakeholder.
• Erstellung und Pflege von domänenspezifischen Evaluierungsbenchmarks und Ground-Truth-Datensätzen.

Weitere Verantwortlichkeiten:

• Aufbau eines leistungsstarken Teams und fungieren als Fachexperte gegenüber dem Kunden.
• Pflege und Stärkung langfristiger Kundenbeziehungen mit Fokus auf Bindung und Geschäftswachstum.
• Beitrag mit Ihrem Wissen und Ihrer Erfahrung innerhalb der Sixsentix-Testberatungs-Community.

Ihr Profil:

• Vertrautheit mit RAG-Konzepten, Vektordatenbanken, Einbettungsstrategien und Multi-Agenten-Systemen.
• Starkes Verständnis der Herausforderungen von GenAI wie Halluzinationen, Eingabeaufforderungsempfindlichkeit, Konsistenzprobleme und Ausgabevariabilität.
• Solide Softwaretest-Hintergrund in Unternehmensumgebungen mit der Fähigkeit, technische Konzepte an verschiedene Stakeholder zu kommunizieren.
• Kenntnisse in API-Testframeworks, CI/CD-Integration und Git-basierter Zusammenarbeit.
• Datenverarbeitungsexpertise und Kenntnisse von Evaluierungsmethoden für KI-Leistung und Risikobewertung.
• Selbststarter-Mentalität, die sich in unklaren Umgebungen wohlfühlt, um neue Testmethoden und Qualitätsstandards zu definieren.
• Leidenschaft dafür, sicherzustellen, dass KI-Systeme sicher, zuverlässig und vorteilhaft für Endbenutzer sind.
• Hervorragende Kommunikations- und Präsentationsfähigkeiten über rein technische Expertise hinaus.

Nicht die richtige Passung? Entdecken Sie unsere anderen offenen Stellen und finden Sie eine, die zu Ihnen passt.