Avec l’apparition des appareils mobiles il a fallu retravailler complètement les moyens que nous avions d’interagir avec nos systèmes informatiques: remplacer la souris par une interface tactile, faire des interfaces différentes, donc, modifier intégralement notre vision de l’ergonomie. Aujourd’hui nous passons sur une nouvelle génération d’appareils qui apportent leurs problématiques propres. Dans cet article, nous verrons comment la réalité est la principale inspiration pour les interactions avec la réalité augmentée et comment la dépasser pour donner tout le sens au mot augmenté.
Un labyrinthe avec une bille peut se jouer au clavier mais c’est plus pratique de jouer sans intermédiaires
S’inspirer de la réalité
Dans réalité augmentée, il y a la notion de réalité. C’est d’ailleurs de cette notion que nous devons nous rapprocher pour créer les nouvelles interactions de la réalité augmenté. Par exemple, une pièce d’échec réelle pourra être saisie et déplacée avec les mains, une pièce d’un jeu sur pc devra être sélectionnée à la souris puis amenée vers sa destination. Dans le cas d’un système où l’on peut choisir quelle méthode utiliser, on se rend compte que le plus intuitif est de pouvoir saisir directement la pièce. Cette méthode est la plus facile pour la prise en main de l’application. Comme c’est très généralement le cas pour nos interactions avec l’ensemble de notre environnement. S’approcher au maximum de l’aspect naturel de la réalité permet d’ouvrir la technologie au plus grand nombre.
Le tracking
L’ajout d’un système de tracking des mains, c’est-à-dire une matérialisation des mains de l’utilisateur à chaque instant, sur le casque Hololens 2 permet d’interagir directement avec les objets virtuels, sans utiliser de capteurs ou de télécommandes supplémentaires. En effet le système de tracking actuel utilise uniquement les caméras déjà présentes dans l’hololens. Il est donc très intuitif d’appuyer sur un bouton ou de déplacer une pièce juste en la pinçant (d’où le nom de « Grab » en anglais). L’inconvénient de cette méthode reste l’intangibilité des objets virtuels. Contrairement aux objets réels qui sont tangibles les objets virtuels ne permettent pas de ressentir un retour tactile ou haptique. C’est pourquoi il est préférable de combiner le grab avec une modalité sensorielle supplémentaire comme un effet visuel ou sonore pour prévenir l’utilisateur qu’il a bien attrapé l’objet. On met ici en avant la convergence sensorielle qui dit que si le deux sens ou plus indiquent la même chose au cerveau celui-ci va prendre ces informations pour vrai.
Commande vocale
« Passe-moi le sel s’il te plait », cette phrase montre comment la voix peut être utilisée pour interagir avec l’environnement extérieur (à condition d’avoir une personne bien disposée à proximité). Heureusement pour nous, les casques de réalité augmentée sont plutôt bien disposés et vont essayer de nous faciliter la vie. Comme ils possèdent un micro, il est possible d’intégrer un assistant vocal ou de commander directement l’application. Et pour les commandes, il existe deux manières principales de communiquer avec l’application : les mots clés de commandes et la dictée.
Les mots de commandes forment un dictionnaire d’actions pré câblées qui vont être associées à un mot clé. Par exemple « Supprimer » pour faire disparaître un objet virtuel. Les mots de commandes vont être très faciles à reconnaître. Mais ils ne permettent pas de remplir les champs d’un formulaire ou d’entrer un mot de passe. C’est pour ça que la reconnaissance vocale peut être utilisée en mode dictée.
Pour la dictée, un algorithme va traiter la voix reçue dans le micro et la retranscrire sous forme de phrase souvent pour l’afficher, ou la garder en mémoire. Aucune action n’est reliée à cette phrase : le mode dicté correspond plus à une alternative du clavier pour écrire. Cependant, le système n’est pas fiable à 100% même s’il y a eu beaucoup de progrès et le temps de traitement est moins instantané. Mais quelle que soit la méthode employée, nous sommes en face d’un moyen d’interaction facile à utiliser et très intuitif.
Interactions augmentées
Malgré cela, en gardant uniquement une approche s’inspirant de la réalité on perd la notion d’augmentée. Ces interactions sont nombreuses et certaines d’entre elles sont encore à imaginer. Mais il est déjà possible d’agir en utilisant l’orientation du regard, des mouvements de la main ou de la tête d’agir sur notre environnement. Par exemple, le focus centré là où regarde l’utilisateur permet d’activer des objets, afficher un panneau d’information, ouvrir une porte juste en les fixant du regard. On en est presque au niveau de la magie de la science-fiction. Le claquement de doigt magique de la série « Joséphine, ange gardien » qui permet de faire de nombreuses choses. Ces gestes de la main sont aussi un moyen d’interaction. Toujours grâce au hand tracking, certaines positions et certains mouvements de la main sont détectables et peuvent contrôler des éléments de l’environnement. Ces interactions sont appelées des commandes gestuelles. Un autre exemple illustrant ce phénomène est la scène de l’écran holographique de « Minority Report ».
Et là où les interactions approchant de la réalité sont facilement observables, ces interactions « augmentées » sont à rechercher et il doit être possible d’en inventer un certain nombre qui faciliteront la vie des utilisateurs.
Conclusion
Bien que nous ayons listé diverses interactions, il reste encore de nombreux moyens pour interagir, créer et modifier l’environnement qu’il soit réel ou virtuel grâce à la réalité augmentée. Somme toute, je pense que beaucoup n’ont même pas encore été explorées. Juste en ajoutant de nouvelles interfaces comme des télécommandes, des manettes voire un téléphone, nous ouvrons un nouveau monde de possibilités. Un monde qui permettra au plus grand nombre d’utiliser ces appareils en toute simplicité.
Retour aux articles