Diese Vorlesung befasst sich mit der Implementierung komplexer sensomotorischer und kognitiver Fähigkeiten in humanoiden Robotern, wobei der Mensch als Inspiration dient. Die Vorlesung beginnt mit der Motivation für humanoide Robotik. Die Geschichte der humanoiden Robotik und biomechanische Modelle des menschlichen Körpers, die das Roboterdesign beeinflussen, werden behandelt, zusammen mit einigen mechatronischen Prinzipien, die humanoiden Robotersystemen zugrunde liegen.

Das erste Hauptthema befasst sich ausführlich mit Greifen und Manipulation. Nach der Behandlung der Grundlagen werden neurowissenschaftliche Erkenntnisse und Konzepte wie Greifphasen und Greifsynergien zur Reduzierung der Steuerungskomplexität diskutiert. Taxonomien werden als strukturierte Frameworks zur Beschreibung des Raums möglicher Beschränkungen beim Greifen und der Manipulation vorgestellt. Die Vorlesung behandelt Ansätze für das Greifen bekannter, ähnlicher und unbekannter Objekte und deckt sowohl klassische Methoden als auch moderne lernbasierte Ansätze unter Verwendung von Deep Learning und Vision-Language-Action-Modellen ab.

Das zweite Hauptthema behandelt Lernen aus Demonstration und Imitationslernen. Nach der Einführung des Themas werden Grundlagen präsentiert, einschließlich des Lernzyklus aus Demonstrationen. Die Vorlesung betont das Lernen von Aufgabenmodellen sowohl auf symbolisch/semantischer als auch auf subsymbolisch/sensomotorischer Ebene. Während Methoden zur Erfassung menschlicher Demonstrationen kurz behandelt werden, liegt der Fokus auf der semantischen Segmentierung menschlicher Demonstrationen und dem Lernen von Aufgabenbeschränkungen, die die Aufgabe beschreiben und Generalisierung ermöglichen. Bewegungsprimitive werden als effiziente Repräsentationen vorgestellt, die es Robotern ermöglichen, gelernte Verhaltensweisen auf neue Situationen zu generalisieren.

Die Vorlesung schließt mit kognitiven und KI-basierten Architekturen für humanoide Roboter ab und diskutiert modernste Ansätze, Methoden zur Bewältigung der Signal-zu-Symbol-Lücke und vom Menschen inspirierte Gedächtnisarchitekturen, die intelligentes Roboterverhalten ermöglichen.

Lernziele:

Studierende können die Herausforderungen und Ziele der humanoiden Robotik erklären, insbesondere hinsichtlich der Implementierung komplexer sensomotorischer und kognitiver Fähigkeiten in humanoiden Robotern. Sie sind mit der Geschichte des Fachgebiets vertraut und verstehen, wie biomechanische Modelle des menschlichen Körpers zumdas Design humanoider Roboter beitragen.

Studierende verfügen über umfassende Kenntnisse zum Greifen und zur Manipulation beim Menschen und in der Robotik. Sie können menschliche Greif- und Manipulationsstrategien analysieren, Taxonomien verstehen und verschiedene Ansätze für Greifen und Manipulation bewerten. Sie verstehen die Herausforderungen bei der Übertragung von Konzepten aus menschlichen Studien auf humanoide Robotersysteme.

Studierende verstehen die Grundlagen des Lernens aus menschlicher Demonstration und des Imitationslernens. Sie können den Lernzyklus erklären sowie Methoden zum Lernen generalisierter Aufgabenrepräsentationen, insbesondere zum Ableiten von Aufgabenbeschränkungen  (Constraints) aus Demonstrationen, und wie gelernte Verhaltensweisen auf Robotern reproduziert werden.

Studierende können kognitive und KI-basierte Architekturen für humanoide Roboter beschreiben, einschließlich Ansätzen zur Bewältigung der Signal-zu-Symbol-Lücke und vom Menschen inspirierte Gedächtnisarchitekturen, die intelligentes Roboterverhalten ermöglichen.

Additional literature

Scientific publications on the topic are made available on the lecture website.

The assessment is carried out as a written examination (§ 4 Abs. 2 No. 1 SPO) of, in general, 60 minutes.

Recommendations
Having visited the lectures on Robotics I – Introduction to Robotics is recommended.

Workload:
90 h

• approx. 15 * 2 h = 30 h attendance time
• approx. 15 * 2 h = 30 h self-study prior/after the lecture
• approx. 30 h preparation for the exam and exam itself