Meine aktuelle Forschung in der Intelligent Autonomous Systems Group (TU Darmstadt) untersucht, wie Roboter spüren können, dass ihnen Objekte aus dem Griff rutschen. Ich habe einen eigenen Prüfstand gebaut, der mit einem Linearaktuator kontrollierten Schlupf erzeugt und dabei vier Sensormodalitäten gleichzeitig aufzeichnet: eine visuo-taktile GelSight-Mini-Kamera, einen sechsachsigen Kraft-/Momentensensor (ReSense HEX21), einen ADXL355-Beschleunigungssensor und webcam-basiertes ArUco-Marker-Tracking.
Softwareseitig läuft das System unter ROS2 Jazzy, verteilt auf einen Raspberry Pi 5 (Hardwaresteuerung) und einen Laptop (Verarbeitung der bandbreitenintensiven Sensordaten). Ein verzweigtes neuronales Netz fusioniert CNN-kodierte taktile Bilder mit Kraft-/Momenten- und IMU-Zeitreihen über ein LSTM, um die Schlupfgeschwindigkeit zu regressieren; das bildet die Grundlage für eine schlupfbewusste Greifkraftregelung in der Teleoperation.
Technologien: Python, ROS2, PyTorch, GelSight, Kraft-/Momentensensorik, CAD, Docker