Machine Learning Engineer (m/w/d) - Foundation Models

Das ist deine neue Leidenschaft

• Du entwickelst und trainierst unsere domänenspezifischen Vision-Modelle auf Basis aktueller State-of-the-Art-Architekturen und nutzt unsere Abfallbild-Datenbasis für Pretraining und Continued Pretraining
• Du gestaltest unsere komplette ML-Trainings-Pipeline: von der Datenaufbereitung über verteiltes Training (PyTorch FSDP/DDP, Mixed Precision) bis zur Modell-Versionierung
• Du baust und pflegst unsere Eval Suite – die zentrale Infrastruktur, die misst, ob unsere Modelle wirklich besser werden: Linear Probing, k-NN-Probing, Few-Shot-Detection, Cross-Domain-Generalization, Anomalie-Detection
• Du finetunst und destillierst unsere Modelle für konkrete Downstream-Tasks und Edge-Hardware (Sortieranlagen, GPU-Inferenz)
• Du analysierst Trainings-Runs systematisch, identifizierst Probleme wie Feature Collapse oder Domain Shift und entwickelst nachhaltige Lösungen statt kurzfristiger Workarounds
• Du arbeitest eng mit dem Cloud-Backend-Team zusammen, um Modelle effizient ins Deployment zu bringen (ONNX, TensorRT, OpenVINO)
• Du verfolgst aktiv die Forschungsentwicklung im Bereich Computer Vision und übersetzt relevante Paper in produktive Lösungen
• Du denkst über das Modell hinaus und hast im Blick, wie deine Arbeit im realen Betrieb wirkt – für Sortieranlagen, Kunden und das Gesamtsystem

Damit begeisterst du uns

• Du bringst mehrjährige Erfahrung in der Entwicklung und im Training von Computer-Vision-Modellen mit, idealerweise mit modernen Vision-Transformer-Architekturen und Self-Supervised-Learning-Methoden
• Du beherrschst PyTorch sicher – inklusive verteiltem Training (DDP, FSDP), gemischter Präzision (bf16/fp16) und Performance-Optimierung (torch.compile, Profiling)
• Du verstehst nicht nur, wie man ein Modell trainiert, sondern auch wie man evaluiert. Du weißt, dass eine schwache Eval Suite jedes Pretraining wertlos macht
• Du hast Erfahrung mit modernen ML-Tooling-Stacks für Konfigurations-Management, Experiment-Tracking, Daten-Versionierung und Backbone-Bibliotheken
• Du nutzt moderne KI-Tools (z.B. Claude, Copilot), um Routine-Coding zu beschleunigen und dich auf die wirklich harten Forschungs- und Architekturfragen zu konzentrieren
• Du hast ein gutes Verständnis für Datenpipelines bei großen Datenmengen (Millionen Bilder): effiziente Datenformate, GPU-Augmentations, I/O-Bottlenecks
• Erfahrung mit gängigen Detection-/Segmentation- sowie Anomalie-Detection-Frameworks ist von Vorteil
• Du kennst dich mit Inferenz-Optimierung und Modell-Distillation aus und hast idealerweise schon Modelle auf Edge-Hardware deployed
• Ausgeprägte Problemlösefähigkeit, analytisches Denken und wissenschaftliche Sorgfalt – du arbeitest hypothesengetrieben und nicht nach dem Try-and-Error-Prinzip
• Sicherer Umgang mit Cloud-GPU-Infrastruktur (AWS, Azure, GCP oder On-Premise H100/A100-Cluster)
• Fließende Deutsch- sowie gute Englischkenntnisse werden vorausgesetzt
• Idealerweise hast du eigene Forschungserfahrung (Paper, Open-Source-Beiträge, Konferenz-Talks) oder bist promoviert – kein Muss, aber ein Plus

Darauf kannst du dich freuen

• Arbeit auf der „grünen Wiese" – Aufbau einer eigenen Foundation-Model-Strategie ohne Altlasten oder technische Schulden
• Zugang zu einer einzigartigen, wachsenden Datenbasis aus realen Sortieranlagen – ein strategischer Vorteil, den keine Universität und kaum ein Wettbewerber hat
• Einsatz aktueller Frameworks und eines top-modernen Tech-Stacks (PyTorch 2.x, FSDP, Hydra, W&B, DVC, timm)
• Substanzielle Compute-Ressourcen für Pretraining-Runs – wir wissen, dass ernsthaftes Foundation-Model-Training kein Hobby-Projekt ist
• Enge Zusammenarbeit mit Forschungspartnern (u.a. THWS Würzburg im Rahmen von Green-INNO) und die Möglichkeit, eigene Forschungsergebnisse zu publizieren
• Arbeiten in einem dynamischen und interdisziplinären Start-Up-Team mit viel Verantwortung und Gestaltungsspielraum von Anfang an
• Kurze Entscheidungswege und eine Kommunikation ohne Umwege
• Technologie mit Sinn: Du arbeitest an den größten Hebeln unserer Zeit – KI, Recycling und Circular Economy

Über uns

WeSort ist ein innovatives Hightech-Start-up aus Würzburg, das KI-basierte Recyclinglösungen zur präzisen Analyse und Sortierung von Abfallstoffen mithilfe künstlicher Intelligenz und modernster Deep-Sensor-Technologie entwickelt.Mit unserer KI-gestützten Sortiertechnologie ermöglichen wir die effiziente Trennung von Materialien wie Batterien und Elektronikschrott, wodurch wertvolle kritische Rohstoffe zurückgewonnen werden können.
Unsere Systeme sind bereits im industriellen Einsatz, unter anderem bei Schwarz/Lidl bzw. deren Umweltdienstleister PreZero. Unsere Technologie wurde mehrfach ausgezeichnet, unter anderem mit dem Deutschen Gründerpreis (verliehen von Porsche und ZDF), und WeSort ist Teil des SprinD-Programms (Agentur für Sprunginnovationen). Darüber hinaus waren wir bereits in Formaten wie Galileo, ZDF WISO, der WirtschaftsWoche und der Süddeutschen Zeitung vertreten.

Weitere Details und Bewerbung