Lead QA Engineer

Über Titan

Titan entwickelt KI-Software für Banken: maßgeschneiderte kleine Sprachmodelle, eine Bankontologie und KI-Banker, denen Finanzinstitute vertrauen können. Unsere Modelle übertreffen allgemeine LLMs um 30 bis 80 Prozent bei Bankaufgaben. Zu unseren Kunden gehören Gemeinschaftsbanken, Kreditgenossenschaften sowie große regionale und überregionale Institutionen. Wir werden von führenden Fintech-Investoren unterstützt und arbeiten unter den Compliance-, Prüfungs- und Modellrisikostandards, die das Bankwesen erfordert.

Warum diese Rolle existiert

Titan wächst von einer Handvoll aktiver Bankkunden auf dreißig und dann auf Hunderte. Derzeit gibt es keine formale QA-Funktion. Es gibt keinen Bewertungsrahmen, keine Regression-Baseline und kein Qualitätstor in CI/CD. Ein QA-Fehler bei einer Bank ist kein Problem der Benutzererfahrung. Es ist ein operatives und regulatorisches Risiko. Diese Rolle existiert, weil diese Lücke geschlossen werden muss, bevor die Kundenzahl wächst. Dies ist zunächst eine praktische Rolle für einen individuellen Beitrag. Sie kommen, um die Arbeit zu erledigen: Testfälle schreiben, den Bewertungsrahmen aufbauen, CI/CD-Tore einrichten und Bugs zusammen mit der Technik triagieren. Die Funktion wird aufgebaut, weil Sie sie selbst aufbauen. Sobald die Praxis stabil und dokumentiert ist, bringen Sie QE-Ingenieure ein, um sie zu skalieren.

Was Sie besitzen

• KI-Bewertung: Sie entwerfen und führen persönlich den Bewertungsrahmen für LLM- und agentische KI-Ausgaben über Foundry, Agent Builder und client-seitige Instanzen aus. Sie schreiben die Assertions, definieren die Verhaltensverträge und besitzen die Regression-Baselines für das Modellverhalten.
• Testabdeckung: Sie schreiben und pflegen die automatisierte Testsuite: End-to-End-, Integrations- und Regressionstestabdeckung für Backend-APIs, Dokumentenaufnahme-Pipelines, KI-Inferenz-Workflows und Frontend-Oberflächen. Sie sind verantwortlich für Performance- und Lasttests für latenzempfindliche Inferenzpfade.
• Compliance und Kundenqualität: Sie erstellen die Testartefakte, Prüfprotokolle und Prozessdokumentationen, die den SOC 2 Type II-Standards entsprechen. Sie arbeiten direkt mit dem Forward Deployed Engineering an der Validierung auf der Kundenseite und der Reproduktion von Produktionsproblemen.

Wer Sie sind

Sie haben sieben oder mehr Jahre Erfahrung in der Software-QA-Entwicklung, davon mindestens zwei Jahre persönliche Tests von KI- oder ML-Systemen. Sie haben Testfälle gegen LLM-Ausgaben geschrieben, Evaluierungs-Pipelines von Grund auf neu erstellt und kennen den Unterschied zwischen einem instabilen Test und einem wirklich nicht-deterministischen System. Sie sind fließend in Python und haben automatisierte Suiten mit pytest, Playwright oder Selenium erstellt. Sie haben praktische Erfahrung mit RAGAS, DeepEval, LangSmith oder vergleichbaren Evaluierungstools – nicht nur Vertrautheit mit den Namen. Sie können einen Fehler von der Anwendungsebene bis zur Infrastruktur zurückverfolgen und wissen genug über Azure, asynchrone Systeme und REST-APIs, um dies zu tun, ohne auf einen Ingenieur warten zu müssen, der Ihnen dabei hilft. Sie haben QA-Tore in CI/CD-Pipelines integriert und den Prozess von Anfang bis Ende geleitet. Erfahrung im Fintech-Bereich, im Bankwesen oder in einem anderen regulierten Umfeld ist ein großer Vorteil. Vertrautheit mit Dokumentenverarbeitungs-Pipelines, Multi-Agenten-Architekturen, RAG-Validierung oder Beobachtungswerkzeugen wie Arize oder Langfuse bringt Sie weiter. Sie sind nicht hier, um zu managen. Sie sind hier, um zu bauen und zu testen.

Was Erfolg aussieht

In Ihren ersten 90 Tagen: ein Diagnosebericht über die aktuelle Testabdeckung, der mit der technischen Leitung geteilt wird, ein Bewertungsrahmen, der gegen mindestens einen KI-gestützten Workflow läuft, den Sie selbst erstellt haben, und Qualitätstore, die in CI/CD live sind. In den ersten sechs Monaten: Regression-Baselines für das Modellverhalten etabliert, SOC 2-Testartefakte dokumentiert und prüfungsbereit, und die Testsuite läuft bei jedem Release ohne manuelle Intervention. Nach einem Jahr: die Funktion ist besetzt, die Abdeckung skaliert mit jeder Produktveröffentlichung, und Qualität ist ein erstklassiger Input für jede Bereitstellungsentscheidung. Die Arbeit, die Sie persönlich geleistet haben, ist das Fundament, auf dem das Team aufbaut.

Vergütung und Struktur

Wettbewerbsfähiges Grundgehalt und bedeutendes Eigenkapital. Remote (USA). Gelegentliche Reisen zu Kundenstandorten und Team-Offsites.

Vergütung: 140.000 – 165.000 USD; Angebote Eigenkapital.