LLM Research Scientist

Giotto.ai ist ein in der Schweiz ansässiges KI-Unternehmen, das Intelligenzsysteme für die Schweiz und Europa entwickelt. Unsere Mission ist es, Regierungen und Unternehmen die volle Kontrolle über die KI-Systeme zu ermöglichen, die sie nutzen, ohne den Zugang zu den fortschrittlichsten Denkfähigkeiten zu beeinträchtigen. Giotto ist ein tragbares, konfigurierbares Modell und ein KI-Betriebssystem mit fortschrittlichen Denkfähigkeiten, das offene und proprietäre Gewichte, Datensätze und Tools kombiniert, um hohe Leistung, Anpassungsfähigkeit, Robustheit und Unterstützung für mehrere Agenturen zu bieten.

Wir suchen einen LLM Research Scientist, der hilft, fortschrittliche KI-Systeme zu entwerfen, zu trainieren, zu bewerten und zu verbessern. Diese Rolle befindet sich an der Schnittstelle von Deep-Learning-Forschung, angewandtem maschinellen Lernen und skalierbarer Technik. Sie werden an Forschungsfragen zu großen Sprachmodellen, multimodalem Denken, synthetischer Datengenerierung, Modellevaluation, Repräsentationslernen und aufgabenspezifischer Anpassung arbeiten.

Zu den Verantwortlichkeiten gehören:

• Definition und Durchführung von Forschungsprojekten rund um LLMs, Denken, multimodale Modelle, synthetische Daten und Modellanpassung.
• Entwurf von Experimenten zur Überprüfung von Hypothesen, zum Vergleich von Architekturen, zur Bewertung von Trainingsstrategien und zur Messung des Modellverhaltens.
• Training, Feinabstimmung und Bewertung von auf Transformatoren basierenden Modellen unter Verwendung moderner Deep-Learning-Frameworks.
• Arbeiten an überwachtem Feintuning, Präferenzoptimierung, LoRA/PEFT-Methoden, Destillation, Datenaugmentation und bewertungsgetriebenen Modellverbesserungen.
• Aufbau robuster Benchmarks und diagnostischer Bewertungen für Denken, Verallgemeinerung, Zuverlässigkeit und aufgabenspezifische Leistung.
• Analyse von Modellfehlern und Vorschläge zur Verbesserung auf der Ebene von Daten, Architektur, Trainingsziel, Aufforderung oder Inferenzstrategie.
• Zusammenarbeit mit ML-Ingenieuren zur Skalierung von Experimenten über GPUs und verteilte Infrastruktur.
• Beitrag von sauberem, reproduzierbarem Forschungscode, Experimentkonfigurationen, Dokumentation und internen Berichten.
• Aktualität mit relevanter KI-Forschung und Übersetzung vielversprechender Ideen in praktische Experimente.
• Mitgestaltung der Forschungsroadmap des Unternehmens und Identifizierung von technischen Richtungen mit hoher Wirkung.

Erforderliche Erfahrungen:

• Starke Erfahrung in mehreren der folgenden Bereiche: Deep Learning, insbesondere Transformer-Architekturen und moderne Sequenzmodelle.
• LLM-Training, Feinabstimmung, Bewertung oder Inferenz.
• Starke praktische Erfahrung mit Python und PyTorch.
• Erfahrung mit dem Hugging Face-Ökosystem: Transformatoren, Datensätze, Tokenizer, Modellprüfpunkte und Generierungs-APIs.
• Verständnis von Trainingsdynamik, Optimierung, Verlustfunktionen, Überanpassung, Regularisierung und Bewertungsmethodik.
• Fähigkeit, rigorose Experimente zu entwerfen und Ergebnisse über Hauptmetriken hinaus zu interpretieren.
• Erfahrung mit großen Datensätzen, Vorverarbeitungspipelines und reproduzierbaren ML-Workflows.
• Starke mathematische Grundlagen in linearer Algebra, Wahrscheinlichkeit, Statistik und Optimierung.
• Fähigkeit, Forschungspapiere zu lesen und in funktionierende Prototypen umzusetzen.
• Klare Kommunikationsfähigkeiten und die Fähigkeit, Forschungskompromisse technischen und nicht-technischen Stakeholdern zu erklären.

Erwartete Kerntechnologien:

• Python
• PyTorch
• Hugging Face Transformers / Datasets
• CUDA-fähiges GPU-Training
• MLflow oder Weights & Biases für Experimentverfolgung
• Docker
• GitLab CI
• GCP / Cloud-GPU-Infrastruktur
• Ray oder ähnliche Tools für verteilte Workloads und Experimentorganisation
• PyTorch Distributed, FSDP, DeepSpeed oder Accelerate
• PEFT / LoRA / QLoRA
• vLLM
• pytest und Reproduzierbarkeitstools für die Qualität des Forschungscodes

Wünschenswerte Technologien:

• Triton oder benutzerdefinierte CUDA-Kerne
• GCS RAG-Pipelines, Vektordatenbanken und Einbettungsbewertungen
• Datenannotation, synthetische Datengenerierung und menschliche Bewertungs-Pipelines

Wünschenswerte Forschungsbereiche:

• Erfahrung in einem oder mehreren der folgenden Bereiche wäre besonders wertvoll: LLM-Denken und -Planung, multimodales Lernen, Programmsynthese oder strukturierte Vorhersage, synthetische Datengenerierung, Modellfusion, Destillation und Kompression, Verstärkendes Lernen oder Präferenzoptimierung, Bewertung von Denken und Verallgemeinerung, mechanistische Interpretierbarkeit oder Modellanalyse, retrieval-unterstützte Generierung, agentische Systeme und werkzeugbenutzende Modelle, verteiltes Training im großen Maßstab, Low-Level-Inferenzoptimierung.

Profil:

Sie könnten gut passen, wenn Sie:

• Es genießen, unklare Forschungsfragen in messbare Experimente umzuwandeln.
• Mit Theorie und Implementierung vertraut sind.
• Wert auf Reproduzierbarkeit, saubere Experimentverfolgung und ehrliche Bewertung legen.
• Schnell von Papier zu Prototyp wechseln können.
• Pragmatisch sind: Sie wissen, wann Sie eine Forschungsidee tief verfolgen und wann Sie aufhören sollten.
• Geradezu begeistert sind, eng mit Ingenieuren zusammenzuarbeiten, um Forschung in realen Systemen nutzbar zu machen.
• Von Grenz-KI-Problemen begeistert sind, aber in messbarem Fortschritt verankert sind.

Standort und Arbeitsstil:

Wir bieten eine Vollzeitbeschäftigung in der Schweiz. Hybrides Modell: Remote-Arbeit wird vollständig unterstützt. Das Team trifft sich einmal im Monat im Schweizer Büro. Außergewöhnliche Kandidaten, die anderswo in Europa wohnen, können ebenfalls berücksichtigt werden.