09. Robotik & Steuerung

KI-Systeme unterstützen die Robotik in vielfältigen Bereichen: von der Bewegungsplanung über Objekterkennung bis hin zur Simulation und automatisierten Steuerung. Auch für den Einsatz in Smart Manufacturing, Logistik oder Haushaltsrobotern spielt KI eine zentrale Rolle.

Typische Einsatzfelder:

• Bewegungsplanung & Steuerung (Pathfinding, Greiflogik, Navigation)
• Simulation und Testumgebungen (z. B. Gazebo, Isaac Sim, Webots)
• Bild- & Objekterkennung (Computer Vision)
• Sensordatenverarbeitung
• Sprach- & Textschnittstellen für Robotik
• Digital Twins & autonome Systeme

Ein zielführender Prompt im Robotik-Kontext sollte enthalten:

• Kontext / Robotertyp (z. B. Greifarm, mobiler Roboter, Drohne)
• Ziel der Aufgabe (z. B. Objekt greifen, Route planen, Umgebung erkennen)
• Einsatzumgebung (Industriell, Haushalt, Outdoor, Simulation etc.)
• Sensorik / Schnittstellen (z. B. Kamera, Lidar, Sprache)
• Programmiersprache / Framework (optional) (Python, ROS, C++, URScript)

Prompt: > Schreibe ein ROS2-kompatibles Python-Skript, das mit einem Roboterarm (UR5) ein Objekt von einem definierten Punkt A auf einen Tisch bei Punkt B hebt. Nutze eine einfache MoveIt-Planung. Achte auf die Vermeidung von Hindernissen.

—

Prompt: > Simuliere die Navigation eines TurtleBot3 in einer 2D-Umgebung mit mehreren Wänden. Erzeuge eine ROS-kompatible Karte und plane einen Pfad von Start zu Ziel mithilfe des Dijkstra-Algorithmus. Ausgabe: geplotteter Pfad auf Karte.

—

Prompt: > Formuliere eine Sprachschnittstelle für einen Haushaltsroboter, der auf natürliche Sprachbefehle wie „Bringe mir bitte ein Glas Wasser aus der Küche“ reagieren soll. Erzeuge dazu passende Intents, Entitäten und Beispielphrasen im YAML-Format für ein Rasa-NLU-Modell.

—

Siehe auch: Objekterkennung

Prompt: > Generiere ein YOLOv5-Modell, das zwischen Tassen, Tellern und Löffeln unterscheiden kann. Erzeuge ein passendes Trainingsdatenset (CSV-Format) mit 100 Einträgen und erstelle ein Prompt für die Auswertung neuer Bilder in Python.

—

Prompt: > Simuliere eine Greifbewegung eines Zwei-Finger-Greifers in Webots, bei dem ein kleiner Würfel von einem Tisch aufgenommen wird. Füge Sensorfeedback hinzu, um den Greifvorgang bei Kontakt zu beenden. Programmiersprache: Python.

• Gib immer den Robotertyp und die Umgebung an
• Formuliere Zielverhalten + Einschränkungen (z. B. „ohne Kollision“, „nur bis x cm Höhe“)
• Nutze Frameworks und Standards wie ROS, MoveIt, URDF
• Bei Simulation: auch Kameraperspektiven, Weltbeschreibung und Ausgabeformat angeben
• Bei KI-Komponenten (Vision, Sprache): Datensätze, Modelle, Annotationen spezifizieren

• ROS / ROS2 (Robot Operating System)
  1. Open Source Middleware für Robotersteuerung, Sensorik, Simulation
  2. Große Community, viele Module (Navigation, Vision, Greifen etc.)

• Gazebo / Ignition
  1. 3D-Simulationsumgebung für Robotik mit Physik-Engine
  2. Ideal zur Entwicklung & Test von ROS-Anwendungen

• Webots
  1. Intuitive 3D-Simulation von Robotern mit Fokus auf Bildung & Forschung
  2. Unterstützt Python, C++, JavaScript

• NVIDIA Isaac Sim
  1. Simulationsplattform auf Omniverse-Basis für industrielle Robotik
  2. Unterstützt KI-Training, NeRF, Physik, Sensorik

• OpenCV + YOLO + TensorFlow
  1. Kombination für Echtzeit-Computer-Vision und Machine Learning
  2. Einsatz in Objekterkennung, Navigation, Kartierung

• MoveIt (für ROS)
  1. Bewegungsplanung und Greifsteuerung für Roboterarme
  2. Integriert Kollisionserkennung, Pfadplanung, inverse Kinematik

• Rasa (NLU für Robotik)
  1. Verarbeitung natürlicher Sprache zur Steuerung per Sprachbefehl
  2. Training eigener Intents/Entitäten