Data Engineer

Unser Angebot für Sie: Als Data Engineer (m/w/d) unterstützen Sie die Entwicklung unserer rechtlichen Daten- und Suchinfrastruktur von Anfang bis Ende. Sie entwerfen, warten und optimieren robuste ETL-Pipelines, die XML-basierte rechtliche Daten aus mehreren Jurisdiktionen bereinigen und normalisieren, während Sie skalierbare Datenmodelle und Strategien zur Anreicherung von Metadaten entwickeln, um die Durchsuchbarkeit, semantische Relevanz und Benutzerfreundlichkeit von rechtlichen Informationen für nachgelagerte KI-Agenten und Produkte zu maximieren.

Ein wichtiger Teil Ihrer Rolle wird es sein, generative KI dort einzusetzen, wo es sinnvoll ist, um die Datenverarbeitung und die Generierung von Metadaten zu verbessern, während Sie kontinuierlich die Datenbank- und Suchleistung benchmarken und optimieren, um eine effiziente, latenzarme Abfrage in großem Maßstab sicherzustellen.

Sie arbeiten eng mit Produktteams, KI-Forschern und Experten im Rechtsbereich zusammen, um qualitativ hochwertige, zuverlässige Datenlösungen zu liefern, die den Wert komplexer, mehrsprachiger rechtlicher Inhalte erschließen.

Ihr Team: Sie werden unserem Data Team beitreten, das eng mit einer Gruppe von etwa 5 Datenexperten zusammenarbeitet. Dieses hochgradig kollaborative Team konzentriert sich darauf, die Grenzen von generativer KI, natürlicher Sprachverarbeitung und datenschutzfreundlichen maschinellen Lernlösungen im Rechtsbereich zu erweitern.

Ihr Einstellungsmanager: Felix, unser Direktor für KI & Datenengineering, wird Sie auf Ihrer Reise bei Noxtua begleiten. Mit tiefem Fachwissen in KI-Systemen führt Felix mit einer Leidenschaft für Innovation und einem kollaborativen Ansatz, um sicherzustellen, dass jedes Teammitglied gedeiht.

Vorteile:

• Arbeitszeiten: Flexible Arbeitszeiten
• Urlaub: 26 Tage + 24. und 31. Dezember frei, +1 Tag für jedes Jahr der Anstellung (maximal 30 Tage)
• Remote: 100% Remote-Arbeit möglich (bei Vorliegen eines EU-Aufenthalts-/Arbeitserlaubnis in einem der folgenden Länder: Österreich, Kroatien, Deutschland, Polen & Slowakei) mit der Flexibilität, unsere Büros in Berlin, München, Paris oder Zagreb zu nutzen
• Home Office Setup Budget: 1.000 € bei Ihrem ersten Gehalt zur Schaffung Ihres idealen Remote-Arbeitsplatzes
• Ausrüstung: Laptop (Lenovo oder Mac)
• Rabatte: z.B. Urban Sports Club Mitgliedschaft je nach Standort

Ihre Verantwortlichkeiten:

• Entwerfen, Erstellen und Optimieren von End-to-End-ETL-Pipelines für rechtliche Daten aus mehreren Jurisdiktionen, einschließlich Aufnahme, Validierung, Bereinigung, Transformation, Chunking, Einbettung und Aufnahme in Vektordatenbanken.
• Umfassende Arbeit mit XML-basierten rechtlichen Datenfeeds: Parsen, Validieren, Normalisieren und Transformieren komplexer XML-Strukturen in skalierbare interne Schemata und einheitliche Dokumentformate.
• Entwickeln und Pflegen von Datenmodellen und Speicherschemata, die kontinuierlich aktualisierte Datensätze unterstützen und dabei Konsistenz, Skalierbarkeit und Genauigkeit über verschiedene Datensätze und große Datenmengen hinweg sicherstellen.
• Koordinieren der Datenübergabe und -integration von mehreren internen und externen Datenanbietern, einschließlich offizieller Quellen, APIs und Web-Scraping-Pipelines, um zuverlässige und zeitnahe Updates sicherzustellen.
• Implementieren und kontinuierlich Verfeinern von Strategien zur Anreicherung von Metadaten, um die Durchsuchbarkeit, die Qualität des Rankings und die Relevanz von rechtlichen Informationen in Vektordatenbanken zu maximieren.
• Aufbauen und Pflegen einer leistungsstarken Such- und Abrufinfrastruktur, die es agentenbasierten Systemen ermöglicht, Suchfunktionen aufzurufen und die relevantesten rechtlichen Informationen effizient abzurufen.
• Erforschen und Integrieren von Techniken der generativen KI zur Verbesserung von Datenverarbeitungsabläufen wie strukturierter Feldeextraktion, Metadatengenerierung und Dokumentnormalisierung.
• Experimentieren mit verschiedenen Einbettungs- und Chunking-Strategien, einschließlich Evaluierung.
• Durchführen von Leistungsbenchmarks und Tuning von Datenbanken, um eine effiziente Abfrageausführung und Skalierbarkeit sicherzustellen.
• Zusammenarbeiten mit Produkt-, KI- und Rechtsexperten, um qualitativ hochwertige, zuverlässige Datenlösungen zu liefern.

Was Sie nach 6 Monaten erwarten können:

Unsere Tech-Stack:

• Programmiersprachen: Python
• Datenformat: XML, Parquet
• Vektorsuche: ElasticSearch, Qdrant
• Graphdatenbanken: Neo4j, Amazon Neptune
• Bibliotheken: HuggingFace, Transformers, NumPy, Pandas, Pydantic, FastAPI, OpenAI & PyTorch
• Deployment-Tools: Docker
• Cloud-Infrastruktur: OTC, AWS
• Pipelines-Orchestrierung: Apache Airflow
• Ticket-System: Atlassian JIRA
• Repository: Github
• CI/CD-System: GitHub Actions
• Dokumentation: Confluence
• Kommunikation: Slack
• Büroanwendung: MS365

Über Sie:

• Aufenthalts- & Arbeitserlaubnis: in/für eines der folgenden Länder: Österreich, Kroatien, Deutschland, Polen & Slowakei
• Sprache: Englischkenntnisse auf C2-Niveau
• Erfahrung: in der KI-Entwicklung oder Datenengineering mit erfolgreich umgesetzten Projekten
• RAG-Systeme: Erfahrung im Aufbau von KI-spezifischen RAG-Pipelines
• Daten: Expertise in Datenverarbeitung, Filterung und Anreicherung
• Datenbanken: Expertise in Vektordatenbanken, Daten-Einbettung, Benchmarking und Management
• Programmierung: Starke Python-Kenntnisse und Erfahrung mit KI-Pipelines

OPTIONAL:

• Erfahrung im Einsatz von Graphdatenbanken
• NLP & Generative KI: Vertrautheit mit der Entwicklung und dem Einsatz von NLP, generativen KI-Modellen
• Vertrautheit mit Kubernetes-Deployments
• Rechtliches Hintergrundwissen

Klingt gut? Dann freuen wir uns auf den Erhalt Ihres Lebenslaufs über unser Online-Bewerbungsformular.