VIRAS

Achats assistés par robot pour les personnes avec un handicap visuel

Type de projet : Prototype

Handicap concerné : Handicap visuel

Thématiques : Autonomie, Participation à la vie culturelle et aux activités sportives et de loisirs

Statut : En cours

L’objectif est de développer un caddie robotisé et autonome afin d’assister les personnes avec un handicap visuel lors de leurs achats.

Faire ses courses sans barrière sera possible avec le caddie VIRAS. Le caddie autonome est équipé d’une caméra stéréo et de fonctions intégrées de reconnaissance et de synthèse vocales. Le caddie est motorisé et se déplace tout seul. À l’avenir, l’utilisateur pourra ainsi être guidé de manière autonome vers les produits souhaités. Pour garantir la sécurité, le caddie doit éviter les personnes se trouvant dans le supermarché ainsi que les obstacles. La caméra stéréo ne sert pas seulement à cartographier le supermarché en 3D, elle identifie également les produits et la main de l’utilisateur et guide ce dernier vers le produit cible grâce à des instructions acoustiques.

La reconnaissance des produits est basée sur une reconnaissance d’objet IA. Ainsi, il n’est pas nécessaire de scanner le code-barres du produit et ils peuvent être détectés de manière fiable, quelle que soit leur orientation. Si une étagère est vide, l’utilisateur peut en être averti.

Un processus d’achat pour les personnes aveugles et malvoyantes pourrait alors se présenter comme suit :

  1. Localisation du caddie dans le supermarché par des signaux sonores.
  2. Saisie verbale de la liste des courses.
  3. Navigation vers les produits en évitant les obstacles ou les personnes.

4. Arrêt du chariot lorsque le produit est atteint.
5. Reconnaissance des produits par reconnaissance d’objets AI.
6. Désignation acoustique de la position du produit dans le rayon.
7. Reconnaissance de la main de l’utilisateur.
8. Indication sonore de la position de la main de l’utilisateur par rapport au produit.
9. Confirmation sonore du nom du produit lorsque l’utilisateur a sélectionné le bon produit.
10. Navigation vers le produit suivant ou vers la caisse.

Image du prototype de caddie VIRAS.

Contact

OST

Dario Schafroth

dario.schafroth@ost.ch

Aller au contenu principal