Meine Masterarbeit an der TU Darmstadt untersucht, wie Roboter die Geschwindigkeit messen können, mit der ein Objekt durch einen Greifer rutscht – als Grundlage für gezielt gesteuerte Gleitbewegungen bei der Manipulation. Dafür kombiniere ich GelSight-Bilder und taktile Markerbewegungen mit Vibrationssignalen: Die Kamera erfasst Kontaktdetails, während Vibrationen schnelle Stick-Slip-Ereignisse sichtbar machen, die sich bei üblichen Kamerabildraten nur schwer auflösen lassen.

Gemeinsam mit dem Fachbereich Maschinenbau entwickelte ich einen Prüfstand zur Aufnahme gelabelter Schlupfdaten bei kontrollierten Greifkräften und Zuggeschwindigkeiten. Eine separate Kamera verfolgt einen Marker am Objekt und liefert die Referenzgeschwindigkeit. Auf Basis dieser Aufnahmen verglich ich Late-Fusion-, Transformer- und hybride neuronale Netze und untersuchte den Einfluss von Sensoreingaben, Modellgröße und Vorhersagehorizont auf Genauigkeit und Latenz.

Das beste hybride Modell erreichte einen mittleren absoluten Fehler von 2,13 mm/s während des Schlupfs. Ohne Vibrationssignale stieg der Fehler der Geschwindigkeitsschätzung um 20–21 % – ein Beleg für den Nutzen der Sensorfusion. Bei einer Vorhersage 50 ms in die Zukunft lag der Fehler bei 3,35 mm/s. Das eröffnet eine Möglichkeit, Schlupf frühzeitig abzuschätzen und Sensorverzögerungen auszugleichen. Zusätzlich untersuchte ich eine schnelle, vibrationsbasierte Architektur, die langsameren visuotaktilen Kontext nutzt, um die Inferenzlatenz zu verringern.

Die Evaluation beschränkte sich auf den Prüfstand. Die Generalisierung über Materialien und Rotationen, die Robustheit gegenüber Roboterbewegungen und die Regelung am Greifer bleiben zukünftige Arbeiten.

Technologien: Python, ROS2, PyTorch, GelSight, Vibrationssensorik, CAD

Hier geht es zur Präsentation meiner Masterarbeitsverteidigung.