Schlupf ist für Menschen ein äußerst wertvolles Werkzeug der Manipulation, und meine Masterarbeit hat zum Ziel, diese Fähigkeiten auf Roboter zu übertragen. Mithilfe visuotaktiler Sensorik und Vibrationssensorik schätze ich Schlupfrichtung und -geschwindigkeit, die wiederum genutzt werden können, um einen Greifer so zu regeln, dass ein Objekt mit einer vorgegebenen Geschwindigkeit rutscht – ein bislang ungelöstes Problem.
Robotisches Greifen scheitert lautlos: Wenn sich ein rutschendes Objekt sichtbar bewegt hat, ist es oft bereits zu spät, den Griff zu korrigieren. Meine Arbeit setzt an der Wurzel dieses Problems an und geht der Frage nach, ob sich die Schlupfgeschwindigkeit kontinuierlich und schnell genug schätzen lässt, um einen echtzeitfähigen Regelkreis zu schließen. Der Ansatz kombiniert einen visuotaktilen GelSight-Sensor, der über eine integrierte Kamera die detaillierte Kontaktgeometrie erfasst, mit einem hochfrequenten Vibrationssensor, der jene mechanischen Mikroereignisse aufnimmt, anhand derer Menschen Schlupf innerhalb von Millisekunden erkennen – Signale, die mit üblichen Kamerabildraten schlicht nicht aufzulösen sind.
Da kein bestehender Datensatz kontinuierliche Schlupfgeschwindigkeiten unter kontrollierten Bedingungen erfasst, habe ich einen kostengünstigen, reproduzierbaren Prüfstand mitentworfen und aufgebaut, der Schlupf gezielt herbeiführt und dabei eine unabhängige, hochpräzise Ground Truth aufzeichnet; sämtliche Hardware- und Softwarekomponenten sind dokumentiert, sodass der Aufbau von anderen nachgebaut und erweitert werden kann. Auf Basis dieses Datensatzes untersuche ich, welche Sensormodalitäten und Datenrepräsentationen (Rohsignal, Spektrogramm, selbstüberwacht gelernte taktile Embeddings u. a.) für eine präzise Geschwindigkeitsschätzung notwendig und hinreichend sind; dazu dient ein verzweigtes multimodales Netz mit Modalitäts-Dropout, mit dem sich der Beitrag jeder einzelnen Eingabe quantifizieren lässt.
Der zentrale Modellierungsbeitrag ist ein multimodaler Fusions-Transformer, der selbstüberwacht gelernte taktile Merkmale und Vibrationsspektrogramme mit Modalitäts- und Relativzeit-Embeddings tokenisiert und es dem Modell so ermöglicht, über asynchrone Sensorströme unterschiedlicher Abtastraten hinweg zu schließen. Gegenüber einer konventionellen Late-Fusion-Baseline verbessert dieser Ansatz sowohl die In-Distribution-Genauigkeit als auch die Out-of-Distribution-Robustheit – Eigenschaften, die im praktischen Einsatz mehr wiegen als reine Benchmark-Leistung. Ich bewerte die gesamte Pipeline im Hinblick auf das Latenzbudget, das ein reaktiver Greifregler erfordert, und schließe den Regelkreis konzeptionell mit einer Open-Loop-Replay-Studie eines Proportionalreglers, der von der prädizierten Schlupfgeschwindigkeit angesteuert wird.
Technologien: Python, ROS2, PyTorch, GelSight, Kraft-/Momentensensorik, CAD, Docker
Die Folien meiner Masterarbeitsverteidigung sind hier zu finden.