Diese Vorlesung ergänzt die Vorlesung „Robotik I" und bietet einen umfassenden Überblick über Sensoren und Wahrnehmungsmethoden in der Robotik. Sie ist in zwei Teile gegliedert.

Der erste Teil führt in grundlegende Konzepte der Wahrnehmung in der Robotik ein, einschließlich der Unterscheidung zwischen sensorischer Wahrnehmung und Perzeption innerhalb der Wahrnehmungs-Kognitions-Aktions-Schleife. Es werden Grundlagen von Sensoren behandelt, darunter Sensoreigenschaften (Auflösung, Reichweite, Genauigkeit, Bandbreite), Analog-Digital-Wandlung und gängige Klassifizierungsschemata für Sensoren. Propriozeptive Sensoren zur Erfassung des internen Zustands des Roboters werden vorgestellt, einschließlich Encoder (optisch, magnetisch, absolut und inkrementell), Kraft-/Drehmomentsensoren und inertialer Messeinheiten (IMUs). Anschließend  werden exterozeptive Sensoren behandelt, einschließlich Näherungssensoren, Distanzsensoren (LiDAR, Time-of-Flight-Kameras, Ultraschallsensoren), visuelle Sensoren (monokular, stereo, RGB-D-Kameras) und taktile Sensoren (kapazitiv, resistiv und optisch).

Der zweite Teil konzentriert sich auf die Verarbeitung und Interpretation von Sensordaten. Themen zur Robot Vision umfassen Bildrepräsentation, Merkmalsextraktion und -zuordnung, Objektdetektion und -erkennung, semantische Segmentierung und zugehörige Deep-Learning-Ansätze. Die Punktwolkenverarbeitung behandelt Datenstrukturen, Registrierung, Oberflächenrekonstruktion und semantische Segmentierung.

Die Vorlesung befasst sich zudem mit Wahrnehmungsmethoden für die Manipulation und behandelt Objektposenschätzung, Grifferkennung, aktive visuelle Perzeption und haptische Exploration. Sie schließt mit dem Problem der simultanen Lokalisierung und Kartierung (SLAM) ab, einschließlich EKF SLAM, Graph SLAM und FastSLAM.

Lernziele:

Studierende können die wichtigsten in der Robotik verwendeten Sensorprinzipien erklären und dabei zwischen propriozeptiven Sensoren (Encoder, Kraft-/Drehmomentsensoren, IMUs) und exterozeptiven Sensoren (Näherungs-, Distanz-, visuelle und taktile Sensoren) unterscheiden. Sie verstehen Sensoreigenschaften wie Auflösung, Reichweite, Genauigkeit und Bandbreite, können diese charakterisieren und die Prinzipien der Analog-Digital-Wandlung erklären. Studierende sind in der Lage, geeignete Sensorkonzepte für spezifische Robotikaufgaben vorzuschlagen, zu analysieren und zu begründen, wobei sie Abwägungen zwischen verschiedenen Sensormodalitäten berücksichtigen.

Studierende können grundlegende Wahrnehmungsmethoden für robotische Aufgaben anwenden. Dazu gehören Robot-Vision-Techniken wie Merkmalsextraktion und -zuordnung, Objektdetektion und -erkennung und semantische Segmentierung inklusive Deep-Learning-basierter Ansätze. Sie können Wahrnehmungsmethoden für Manipulationsaufgaben beschreiben und analysieren, einschließlich Objektposenschätzung, Grifferkennung, aktive visuelle Wahrnehmungsstrategien und haptische Exploration. Darüber hinaus können Studierende Punktwolkenverarbeitungsmethoden für Registrierung und Oberflächenrekonstruktion sowie die grundlegenden Prinzipien der simultanen Lokalisierung und Kartierung (SLAM) erklären.

Lecture slides will be provided during the course.

Accompanying literature references regarding the individual topics of the lecture will be provided.

The assessment is carried out as a written examination (§ 4 Abs. 2 No. 1 SPO) of, in general, 60 minutes.

Recommendations
Having visited the lecture Robotics I – Introduction to Robotics is recommended.

Workload:
90 h

• approx. 15 * 2 h = 30 h attendance time
• approx. 15 * 2 h = 30 h self-study prior/after the lecture
• approx. 30 h preparation for the exam and exam itself