VIRAS

Robotisch unterstütztes Einkaufen für Menschen mit Sehbehinderung

 

Projekttyp: Prototyp

Betroffene Behinderung: Sehbehinderung

Thematiken: Selbstbestimmtes Leben, Teilhabe an Kultur, Freizeit und Sport

Status: Laufend

Ziel ist es, einen autonomen Roboter-Einkaufswagen zu entwickeln, der Menschen mit Sehbehinderung beim Einkaufen unterstützt.

Ein barrierefreies Einkaufen wird mit dem VIRAS Einkaufswagen möglich sein. Der autonome Einkaufswagen ist mit einer Stereokamera sowie integrierten Spracherkennungs- und Sprachausgabefunktionen ausgestattet. Motorbetrieben wird der Einkaufswagen selbstfahrend. Dadurch soll zukünftig der Benutzer selbstständig zu den gewünschten Produkten geführt werden. Zur Gewährleistung der Sicherheit soll der Einkaufswagen den im Supermarkt befindlichen Personen sowie Hindernissen ausweichen. Die Stereokamera dient dabei nicht nur der 3D Kartierung des Supermarkts, sie identifiziert auch die Produkte sowie die Benutzerhand und leitet den Benutzer durch akustische Anweisungen zum Zielprodukt.

Die Produkterkennung basiert dabei auf einer AI-Objekterkennung. Dadurch ist es nicht notwendig, den Barcode des Produkts zu scannen und sie können unabhängig von ihrer Ausrichtung zuverlässig detektiert werden. Sollte ein Regal leer sein, kann der Benutzer darüber benachrichtigt werden.

Ein Einkaufsprozess für blinde und sehbehinderte Personen könnte dann wie folgt aussehen:

  1.  Lokalisierung des Einkaufswagens im Supermarkt durch akustische Signale.
  2. Verbale Eingabe der Einkaufsliste.
  3. Navigation zu den Produkten mit Ausweichen von Hindernissen oder Personen.

4. Anhalten des Wagens beim Erreichen des Produkts.
5. Produkterkennung mittels AI Objekterkennung.
6. Akustische Benennung der Position des Produkts im Regal.
7. Handerkennung des Benutzers.
8. Akustische Hinweise zur Position der Benutzerhand relativ zum Produkt.
9. Akustische Bestätigung des Produktnamens, wenn der Benutzer das richtige Produkt ausgewählt hat.
10. Navigation zum nächsten Produkt oder zur Kasse.

Bild des Prototyps des VIRAS-Einkaufswagens.
Skip to content