Diese Arbeit integriert visuo-taktile Sensorik mit haptischem Feedback für die teleoperierte Robotermanipulation. Beide Arme eines humanoiden TIAGo-Roboters werden über ein HTC-Vive-VR-Setup in Kombination mit haptischen Feedback-Handschuhen von MANUS gesteuert; visuo-taktile GelSight-Sensoren am Greifer messen den Kontakt, und der gemessene Kontaktzustand wird in Echtzeit als Vibrationssignale an die Fingerspitzen des Operators zurückgespielt.
Die Kontaktkräfte werden mit zwei komplementären Methoden aus den Sensorbildern geschätzt: über die Bewegung von in die Sensoroberfläche eingebetteten Markern sowie mit einem Deep-Learning-Schätzer. Auf der Feedback-Seite streamt ein ROS-Node die Kraftwerte pro Finger an einen modifizierten MANUS-SDK-Client, der die Vibrationsaktuatoren der Handschuhe ansteuert. Die Arbeit stellt zudem einen neuen Versuchsaufbau zur Evaluation von Normalkraft, Scherkraft und Schlupf vor (arXiv:2404.19585).
Ich habe diese Arbeit als Erstautor auf der IEEE-Konferenz ICRA@40 in Rotterdam (2024) präsentiert.
Technologien: Computer Vision, haptische Motorsteuerung, Virtual Reality, Teleoperation, ROS, Python