Internship : Testing Data Migrations with Synthetic Data: AI-powered approach

Data-Plattform-Migrationen sind in Unternehmensumgebungen üblich, da sie von Altsystemen zu moderner Infrastruktur wechseln und dabei die Geschäftslogik bewahren. Die technische Herausforderung besteht nicht nur in der Syntaxübersetzung, sondern auch in der Validierung. Wenn Entwickler SQL-Skripte oder Datenpipelines zwischen Plattformen migrieren, stehen sie vor unterschiedlichen Ausführungsumgebungen, geänderten Datenzugriffsberechtigungen und haben keine sichere Möglichkeit, gegen Produktionsdaten zu testen.

Dieses Praktikum befasst sich mit der Generierung synthetischer Daten für das Testen von Migrationsskripten. Sie werden ein System entwerfen und implementieren, das realistische Testdatensätze generiert, die die Struktur und das Verhalten der Produktion widerspiegeln, ohne sensible Informationen offenzulegen. Es gibt verschiedene Ansätze: Es könnte sich um einen kleinen Datensatz handeln, der in einem Git-Repository lebt, oder um ein vollwertiges synthetisches Datenlager. Dennoch müssen die Daten realistisch genug sein, um echte Fehler zu erkennen.

Die Herausforderung geht über einfaches Daten-Mocking hinaus. Sie müssen entscheiden, ob Sie aus echten Daten (Anonymisierungsrisiken), nur aus der Abfrageanalyse (erfordert gute Dokumentation) oder hybriden Ansätzen generieren. Sollten kategoriale Werte genau mit der Produktion übereinstimmen oder können wir sie ersetzen und die Skripte anpassen? Können wir Unit-Tests auf End-to-End-Tests erweitern, und welche Eigenschaften sollten die erforderlichen Datensätze haben?

Ein Teil der Arbeit besteht darin, eine Evaluierungsmethodik zu etablieren – möglicherweise durch das Sammeln eines Referenzsatzes von Migrationsskripten und deren erwarteten Verhaltensweisen, um zu messen, wie gut verschiedene synthetische Datenansätze echte Probleme erfassen. Es besteht die Möglichkeit, multi-agenten Architekturen zu erkunden, bei denen spezialisierte Agenten verschiedene Aspekte behandeln: Schema-Analyse, Einschränkungsextraktion, Datengenerierung, Anonymisierungsüberprüfung und Testvalidierung. Dies ist angewandte Forschung mit unmittelbarem Einfluss auf die Produktion.

Ziele:

• Entwicklung einer Strategie für das Testen von Migrationsskripten, die Realismus, Anonymisierung und praktische Einschränkungen ausbalanciert
• Implementierung eines Proof-of-Concept-Systems, das Testdatensätze aus Schemadokumentationen, bestehenden Abfragen oder (vorsichtig) gesampelten Produktionsdaten generiert
• Definition von Teststrategien: Unit-Tests vs. End-to-End-Tests, minimale Datenmengen usw.
• Entwicklung einer Evaluierungsmethodik zur Messung der Effektivität verschiedener Ansätze zur Generierung synthetischer Daten
• Erforschung von Multi-Agenten-Architekturen zur Zerlegung der Generierungspipeline in spezialisierte Komponenten (Schema-Analyse, Erfüllung von Einschränkungen, Validierung)

Unser Angebot:

• Ein dynamisches Arbeits- und Kooperationsumfeld mit einem hochmotivierten, multikulturellen und internationalen Team
• Die Chance, das Leben der Menschen zu verändern, indem innovative Lösungen entwickelt werden
• Verschiedene interne Codierungsveranstaltungen (Hackathon, Brownbags), siehe unseren technischen Blog
• Monatliche After-Works, die standortspezifisch organisiert werden

Erforderliche Fähigkeiten:

• Starke Python-Programmierung: Datenverarbeitung, Testmuster, CI/CD-Integration
• Verständnis relationaler Datenbanken, SQL und Konzepte des Datenmodells
• Erfahrung mit LLMs und agentischen Systemen: Aufforderung, Werkzeugnutzung, Multi-Agenten-Orchestrierung
• Vertrautheit mit Datensicherheit und Konzepten der Datenanonymisierung
• Problemlösungsmentalität: Komfort mit mehrdeutigen Anforderungen und fundierten technischen Abwägungen
• Klare technische Schreib- und Dokumentationsfähigkeiten