Senior/Lead Data Engineer – AI-Native Aftermarket Platform | DR

Über Truelogic

Bei Truelogic sind wir ein führender Anbieter von Nearshore-Personalvermittlungsdiensten mit Hauptsitz in New York. Seit über zwei Jahrzehnten liefern wir erstklassige Technologielösungen für Unternehmen jeder Größe, von innovativen Startups bis hin zu Branchenführern, und helfen ihnen, ihre Ziele der digitalen Transformation zu erreichen.

Unser Team von über 600 hochqualifizierten Technikern, die in Lateinamerika ansässig sind, treibt die digitale Disruption voran, indem es mit US-Unternehmen an ihren bedeutendsten Projekten zusammenarbeitet. Ob in Zusammenarbeit mit Fortune 500-Riesen oder wachsenden Startups, wir liefern Ergebnisse, die einen Unterschied machen.

Durch Ihre Bewerbung auf diese Position machen Sie den ersten Schritt, um Teil eines dynamischen Teams zu werden, das Ihre Expertise und Ambitionen schätzt. Wir streben danach, Ihre Fähigkeiten mit Möglichkeiten in Einklang zu bringen, die außergewöhnliches berufliches Wachstum und Erfolg fördern, während Sie zu transformierenden Projekten beitragen, die die Zukunft gestalten.

Unser Kunde

Ein gut finanziertes, KI-natives Softwareunternehmen, das eine vernetzte Plattform aufbaut, die den globalen Aftermarket für OEMs, Händler und Flotten maximiert. Unterstützt von einem führenden KI-Inkubator und einem führenden Unternehmen der Schwerindustrie liefert es maschinelles Lernen-gesteuerte Einblicke zur Optimierung von Inventar, Service und Vertrieb.

Stellenbeschreibung

Wir suchen einen hochqualifizierten und motivierten Data Engineer, der die kritischen Datenpipelines für eine innovative KI-native Plattform aufbaut, wartet und skalieret. In dieser Rolle entwerfen Sie robuste Architekturen, gewährleisten eine einwandfreie Datenqualität und implementieren moderne Datenstapel-Lösungen, um hochwirksame Modelle für maschinelles Lernen und Analysen voranzutreiben. Der ideale Kandidat ist ein Experte in Datenmodellierung und Python-Engineering, der in einer kollaborativen Umgebung gedeiht und die technische Tiefe besitzt, um komplexe Pipelines von Anfang bis Ende zu betreuen sowie die Führungsfähigkeit, um Kollegen zu betreuen, architektonische Standards festzulegen und die übergreifende Datenstrategie des Teams voranzutreiben.

Verantwortlichkeiten

• Entwerfen und Erstellen robuster, idempotenter Datenpipelines von Grund auf unter Verwendung eines modernen Datenstapels.
• Entwerfen von Stern- und Schneeflockenschemas, präzises, grain-aware SQL schreiben, um skalierbare Datenmärkte zu erstellen.
• Produktionstauglichen, unit-getesteten Python-Code auf Modulebene schreiben, unter Einhaltung strenger Ingenieurdisziplinen wie Typ-Hinweisen und Tests.
• Erstellen und Testen von dbt-Modellen über Staging-, Zwischen- und Mart-Ebenen hinweg, während die Gesamtprojektstruktur verwaltet wird.
• Jobs mit Databricks Asset Bundles (DAB) autorisieren und bereitstellen, die dokumentierten architektonischen Mustern folgen.
• Strenge Datenqualitätsprüfungen an Quelle, Zwischen- und Zielschichten implementieren, um stille Nullwerte oder Duplikate zu verhindern.
• Datenverwaltung durch umfassende dbt-Tests und strikte Dokumentation bei Merge-Zeit aufrechterhalten.
• Sicher innerhalb einer Multi-Repository-Architektur arbeiten, Dienstprinzipale nutzen und sicherstellen, dass keine persönlichen Anmeldeinformationen in Produktionsbereitstellungen vorhanden sind.
• Kreuz-Repository-Expositionsprüfungen vor dem Zusammenführen von schema-brechenden Änderungen durchführen.
• Die Datenpipelines von Anfang bis Ende besitzen, wichtige technische Designentscheidungen treffen und Mid-Level-Ingenieure durch substanzielle Code-Reviews betreuen.
• Übergeordnete technische Richtung über die Kern-Daten-Systeme definieren, einschließlich Modellierungsstandards, Branching-Strategien, Beobachtungsgrenzen und Geheimnisverwaltungsrichtlinien.
• Als technischer Leiter agieren, um das Team zu entblocken und aktiv an Einstellungsgremien teilnehmen, um die Ingenieureinheit zu erweitern.

Qualifikationen und Anforderungen

• Expertise in SQL und dimensionalen Modellierungsmethoden, einschließlich Medaillenarchitektur, SCDs und Grain-Management.
• Nachgewiesene Fähigkeit, idempotente Pipelines unter Verwendung von inkrementellen, Checkpoint- und ReplaceWhere-Strategien zu entwerfen.
• Umfangreiche Erfahrung mit produktionstauglichem Python-Engineering, einschließlich Typ-Hinweisen, pytest und ruff.
• Starke Fähigkeit, fehlerhafte Spark / PySpark-Jobs mit Tools wie Spark UI zu diagnostizieren und zu beheben.
• Tiefes Verständnis der Delta Lake-Funktionen wie MERGE, OPTIMIZE, Z-ORDER und Zeitreise.
• Praktische Erfahrung mit dbt, einschließlich Modelle, Tests und Expositionen.
• Erfahrung in der Autorisierung und Bereitstellung von Jobs mit Databricks Asset Bundles (DAB) und im Betrieb innerhalb einer Unity Catalog-Umgebung.
• Engagement für Datenqualität durch Pre-Write-Assertions, Schema-Prüfungen und die Aufrechterhaltung von dbt-Beziehungen und Einzigartigkeitstests.
• Starke Einhaltung disziplinierter Git-Workflows, konventioneller Commits und strenger Dokumentationspraktiken.
• Erfahrung in der Bereitstellung und Nutzung von Dienstprinzipalen, GitHub-Umgebungsgeheimnissen und Geheimnisverwaltungswerkzeugen wie Azure Key Vault oder Databricks-Geheimnisspeichern.
• Starke schriftliche technische Kommunikationsfähigkeiten für PR-Beschreibungen und Runbooks, mit der Fähigkeit, Pipeline-Arbeiten in Geschäftszahlen zu übersetzen.
• Nachgewiesene Entscheidungsfähigkeiten, um Unklarheiten zu navigieren und Kompromisse zwischen Kosten, Latenz und Zuverlässigkeit abzuwägen.
• Erfahrung in der Leitung technischer Initiativen, der Festlegung architektonischer Standards und der Mitwirkung an Interview-Rubriken ist von Vorteil.
• Erfahrung im Lesen oder Ändern von Azure Data Factory (ADF)-Pipelines und Vertrautheit mit Azure Data Lake-Speicher ist sehr wünschenswert.
• Vertrautheit mit dbt-Beobachtungswerkzeugen, wie Elementary, ist ein Plus.
• Bewusstsein für bewährte Verfahren zur Erkennung und Maskierung von PII ist von Vorteil.
• Erfahrung mit Multi-Tenant-Konfigurationsmustern zur Onboarding neuer Mieter ohne Codeänderungen ist ein starkes Plus.
• Fähigkeit, kostenbewusste Compute-Entscheidungen zu treffen, indem die geeignete Clusterform je nach Arbeitslast ausgewählt wird, ist ein Plus.
• Fähigkeit, AI-unterstützte Entwicklungstools wie Claude Code für die tägliche Arbeit und Code-Reviews zu nutzen, ist von Vorteil.
• Erfahrung im Schreiben von Vorfällen-Nachberichten und der Koordination von Funktionsübergaben mit Data Science-Teams ist ein Plus.

Was wir bieten

• 100% Remote-Arbeit: Genießen Sie die Freiheit, von dem Ort aus zu arbeiten, der Ihnen am besten hilft. Alles, was Sie brauchen, ist ein Laptop und eine zuverlässige Internetverbindung.
• Hochgradig wettbewerbsfähige USD-Vergütung: Verdienen Sie eine hervorragende, marktführende Vergütung in USD, die über die typischen Marktangebote hinausgeht.
• Bezahlter Urlaub: Wir schätzen Ihr Wohlbefinden. Unsere Richtlinien für bezahlten Urlaub stellen sicher, dass Sie die Möglichkeit haben, sich zu entspannen und neue Energie zu tanken, wenn es nötig ist.
• Arbeiten mit Autonomie: Genießen Sie die Freiheit, Ihre Zeit zu verwalten, solange die Arbeit erledigt wird. Konzentrieren Sie sich auf Ergebnisse, nicht auf die Uhr.
• Arbeiten mit Top-amerikanischen Unternehmen: Entwickeln Sie Ihre Expertise, indem Sie an innovativen, hochwirksamen Projekten mit branchenführenden US-Unternehmen arbeiten.

Warum Sie gerne hier arbeiten werden

• Eine Kultur, die Sie wertschätzt: Wir priorisieren Wohlbefinden und Work-Life-Balance, bieten Engagement-Aktivitäten und fördern dynamische Teams, um sicherzustellen, dass Sie sowohl persönlich als auch beruflich gedeihen.
• Diverse, globale Netzwerke: Verbinden Sie sich mit über 600 Fachleuten in mehr als 25 Ländern, erweitern Sie Ihr Netzwerk und arbeiten Sie mit einem multikulturellen Team aus Lateinamerika zusammen.
• Zusammenarbeit mit erfahrenen Fachleuten: Arbeiten Sie mit Senior-Talenten zusammen. Alle unsere Teammitglieder sind erfahrene Experten, sodass Sie mit den Besten in Ihrem Bereich arbeiten.

Bewerben Sie sich jetzt!