Software Engineer, Knowledge Engine – Data Infrastructure

Das Knowledge Platform-Team baut Exas Wissensengine. Wir synthetisieren kontinuierlich Informationen aus dem Web und darüber hinaus in eines der größten offenen Wissensgraphen der Welt, mit Hunderten von Milliarden von evidenzbasierten Behauptungen. Die Arbeit hat zwei Teile: Konstruktionspipelines, die entscheiden, was vertrauenswürdig ist, und Abrufmaschinen, die entscheiden, wie man am besten danach sucht. Unser Ziel ist es, Agenten Antworten auf jede faktische Frage über die Welt mit beispielloser Präzision und Vollständigkeit zu geben.

In dieser Rolle werden Sie die Wissenskonstruktionspipelines aufbauen: alles von einem 100k-Dokumente/S-Web-Crawl bis hin zu Anbieterdaten in ein Graphenmodell dessen, was über die Welt wahr ist, umwandeln und es korrekt halten, während sich die Daten ändern.

Dies ist eine Neulandarbeit mit einem riesigen Umfang. Es gibt kein fertiges System zum Aufbau eines Modells der Welt aus dem offenen Web, daher werden Sie grundlegende Entscheidungen treffen, von der Darstellung und Auflösung von Ansprüchen bis hin zur Zuordnung von Vertrauen und wie sich der Graph im Laufe der Zeit entwickelt, auf dem alles, was darauf aufgebaut wird, basiert.

Was Sie tun werden

• Kontinuierlich synthetisieren Sie den Live-Web-Crawl, Anbieterlieferungen und APIs sowie andere Quellen außerhalb des Webs in einen typisierten Graphen: Extraktion, die Seiten und Datensätze in ontologiegeformte Ansprüche umwandelt, die jeweils ihre Herkunft, Zeitstempel und Vertrauenswürdigkeit tragen.
• Jede neue Quelle sauber einbringen: versionierte, nur anhängende Historie mit Schemaentwicklung, verspäteten und korrigierten Datensätzen sowie wiederholbaren Cursorn, sodass jeder Anspruch auf die genaue Lieferung zurückverfolgt werden kann, die ihn erzeugt hat.
• Entscheiden, was zu vertrauen ist: Entitätsauflösung über Milliarden von Datensätzen (Blocking, paarweise Bewertung, Clustering) in kanonische Personen, Unternehmen, Orte und Publikationen, dann Wahrheitsentdeckung, die die Zuverlässigkeit, Aktualität und Bestätigung von Quellen gewichtet, um widersprüchliche Ansprüche zu versöhnen.
• Halten Sie dieses Bild aktuell und konvergent: Streams kommen kontinuierlich, außer der Reihe und in sehr unterschiedlichen Raten an, sodass der Graph absichtlich konsistent ist. Sie werden inkrementelle Berechnungen über Änderungsdatenströme aufbauen, wobei jedes Update ein Diff dessen ist, was sich geändert hat, und jeder Job idempotent und fortsetzbar ist, sodass der Graph unabhängig davon, wie die Ausführungen sich überschneiden, fehlschlagen oder wiederholt werden, denselben Zustand erreicht, und Leser nur jemals bestätigte, konsistente Versionen sehen.
• Präzision und Vollständigkeit messen: gekennzeichnete Bewertungen für Extraktion und Auflösung, Quellabdeckung und Korrektheitsmetriken sowie Abstammung, die genau angibt, welche Quelle oder Phase gebrochen ist und warum.

Was wir suchen

• Sie haben große verteilte Datenpipelines in der Produktion über Petabytes strukturierter und unstrukturierter Daten aufgebaut und betrieben, mit Spark über ein Lakehouse-Format (Delta Lake, Iceberg, Hudi).
• Sie verstehen inkrementelle Verarbeitung tiefgehend: Änderungsdatenerfassung, idempotente Schreibvorgänge, Rückfüllungen und Neuverarbeitung.
• Stark in Python und mindestens einer Systemsprache; Sie können Spark-Abfragepläne lesen und optimieren.
• Sie legen ebenso viel Wert auf Korrektheit, Zuverlässigkeit und Datenqualität wie auf Skalierung.

Bonus

• Entitätsauflösung, Datensatzverknüpfung, Wissensgraphen oder Ontologien
• Informationsextraktion oder Wahrheitsentdeckung in großem Maßstab
• Lance oder andere spaltenbasierte/vektor-native Formate

Beispielprojekte

• Nehmen Sie einen neuen Datensatz mit einer Milliarde Zeilen von der ersten Lieferung bis zu abfragbaren Entitäten in Tagen, nicht Monaten.
• Halten Sie einen Graphen von Hunderten von Milliarden von Ansprüchen aktuell mit inkrementellen Updates, sodass eine Tatsache, die sich im Web ändert, in Minuten erreicht wird.
• Bauen Sie ein System, das jedes Unternehmen und jede Person der Welt kennt, mit einem evidenzbasierten Datensatz für jede, der über das Web und jede Quelle, die wir aufnehmen, aufgelöst wird.