LLM Application Engineer

Über A1

Es gibt über 5 Milliarden Nutzer, die heute grundlegende Anwendungen wie E-Mail, Notizen und Aufgaben verwenden, die nicht KI-nativ sind. Unsere Mission ist es, einen proaktiven intelligenten Assistenten für alltägliche Nutzer zu entwickeln, um Intelligenz in Gespräche, Erledigungen, Organisation und Arbeitsabläufe zu bringen, mit minimaler Aufforderung.

Unser Produkt konzentriert sich darauf, eine hohe Zuverlässigkeit für langlaufende Arbeitsabläufe, persistente Kontexte und die Erledigung realer Aufgaben zu erreichen. Das System muss mehrstufiges Denken verarbeiten, mit externen Tools interagieren und trotz nicht deterministischer Modellverhalten zuverlässig bleiben. Unser Ziel ist es, den Nutzern zu helfen, tägliche Aufgaben mit über ~90%* reduzierter Zeit angenehm abzuschließen.

Über die Rolle

Als LLM Application Engineer werden Sie die Intelligenzschicht aufbauen, die A1s KI-Erlebnisse antreibt. Sie arbeiten an der Schnittstelle von LLMs, Softwareengineering und Produkt - entwerfen Agenten-Workflows, verbessern das Modellverhalten und verwandeln KI-Fähigkeiten in zuverlässige Benutzererlebnisse.

Sie übernehmen Probleme von Anfang bis Ende, vom Verständnis der Nutzerbedürfnisse über das Design von Agenten-Workflows, die Integration von Modellen und Tools, den Aufbau eines Evaluierungssystems bis hin zur kontinuierlichen Verbesserung des KI-Verhaltens in der Produktion.

Fokus

• Entwicklung und Bereitstellung von LLM-gestützten Anwendungen und KI-Agenten-Workflows
• Design von Systemen für Denken, Planung, Gedächtnis, Tool-Nutzung und mehrstufige Ausführung
• Aufbau zuverlässiger Orchestrierungspipelines, die probabilistische Modellausgaben in vorhersehbare, beobachtbare und sichere Aktionen umwandeln
• Integration von LLMs mit APIs, Datenbanken, Suchdiensten, internen Services und externen Tools
• Entwicklung von Aufforderungen, Kontextgestaltung, strukturierten Ausgaben, Tool-Aufrufen und anderen Techniken zur Verbesserung des Modellverhaltens
• Aufbau von Evaluierungsrahmen und Datensätzen zur Messung der KI-Qualität, Zuverlässigkeit und Regressionen
• Debugging von KI-Systemen über den gesamten Stack hinweg - vom Modellverhalten und Aufforderungen bis hin zu Orchestrierung, Backend-Services und Produkt-UX
• Optimierung von KI-Systemen hinsichtlich Qualität, Latenz und Kosten
• Enge Zusammenarbeit mit Produkt- und Engineering-Teams, um mehrdeutige Produktprobleme in funktionierende KI-Lösungen zu verwandeln
• Einrichtung von Produktionspraktiken für Beobachtbarkeit, Nachverfolgung, Experimentierung, Evaluierung und kontinuierliche Verbesserung

Technologiestack

• Python
• LLM-APIs und Modellanbieter, einschließlich OpenAI-kompatibler APIs und Open-Weight-Modellen
• Agentenframeworks und Orchestrierungssysteme
• Vektordatenbanken und Abrufsysteme
• Backend-Services, APIs und verteilte Systeme
• PyTorch / JAX

Ideale Erfahrung

• Starke Grundlagen im Softwareengineering mit Erfahrung im Aufbau von KI-gestützten Anwendungen
• Praktische Erfahrung mit LLMs, generativer KI oder agentenbasierten Systemen
• Erfahrung im Design von Aufforderungen, Workflows, Evaluierungen oder KI-Verhalten
• Fähigkeit, sauberen, produktionsreifen Code zu schreiben
• Komfortables Arbeiten über Abstraktionsebenen hinweg (Modell → System → Produkt)
• Starke Problemlösungsfähigkeiten in mehrdeutigen, schnelllebigen Umgebungen
• Neigung zum Versenden, Iteration und kontinuierlicher Verbesserung

Ergebnisse

• KI-Funktionen erreichen schnell die Produktion und liefern messbare Auswirkungen auf die Nutzer
• LLM-gestützte Workflows sind zuverlässig, skalierbar, beobachtbar und wartbar
• Die KI-Qualität verbessert sich durch systematische Evaluierung, Experimentierung und Iteration
• KI-Workflows werden zunehmend vorhersehbar, effizient und kosteneffektiv
• Komplexe KI-Fähigkeiten werden in einfache, intuitive Benutzererlebnisse übersetzt