Mit einem visuo-taktilen GelSight-Mini-Sensor rekonstruiert dieses Projekt eine zusammenhängende 3D-Oberfläche aus mehreren überlappenden Sensorabdrücken. Jede Aufnahme liefert ein RGB-Bild und eine per neuronalem Netz geschätzte Tiefenkarte; die einzelnen Aufnahmen werden über SIFT-Keypoint-Matching registriert und zu einer einzigen farbigen Punktwolke fusioniert, die sich als trianguliertes Mesh exportieren lässt. Als Testobjekte dienten Euro- und Cent-Münzen.
Über die Stitching-Pipeline hinaus bietet das Projekt Werkzeuge zur 3D-Live-Visualisierung, zur Aufnahme von Snapshots und zur Inspektion der SIFT-Korrespondenzen zwischen den Aufnahmen sowie eine Treiberschicht für den GelSight-Sensor und dessen Tiefenrekonstruktion.
Technologien: Computer Vision, 3D-Punktwolkenanalyse, Image Stitching, PyTorch