Introduction à la Réalité Virtuelle Guillaume BOUYER [email protected] Différentes approches 3 Réalisme idéal ? Proposer à l’utilisateur une expérience en EV identique au monde réel Réalisme visuel : images HD, stéréoscopie, moteur graphique… Réalisme auditif : sons HD, spatialisation, moteur sonore… Réalisme comportemental de l’EV : moteur physique… Interactions naturelles : schèmes comportementaux, déplacement réel, poids et efforts des objets… Stimuler tous les canaux sensori-moteurs ⇒ Occultation totale du monde réel ⇒ Interfaces identiques aux caractéristiques humaines ⇒ 4 Limites Technologies limitées ou inadaptées par rapport aux caractéristiques humaines Transposition des schèmes comportementaux biaisée voire impossible Réel besoin ? 5 Degré élevé de réalisme Réalisme +/- poussé de certains aspects ciblés Transposition de l’existant dans le virtuel Besoins et applications Caractère critique : entrainement médical, simulateurs (conduite, vol) Besoin économique : ○ Prototypage virtuel : produit virtuel "ressenti" comme le produit final ○ Formation : tâche réalisée comme les professionnels Objectif ludique : jeux vidéo Difficultés et progrès attendus Technologiques : dispositifs visuels, périphériques d’interaction, calculateurs… Logiciels : algorithmes, rendus… Coûts économiques Attractivité et diffusion 6 [Id software, 2011] [Nvidia, 2008] [Rensselaer Polytechnic Institute, 2010] 7 Au-delà du réalisme Pas d’existant comme référent, réalisme non importable, non pertinent ou insuffisant Créer des applications, des environnements et des interactions nouveaux, efficaces et pertinents Améliorer/assister l’activité des utilisateurs dans les EV : compréhension, efficacité, confort de la tâche… Exploiter au mieux les qualités et les limitations des dispositifs techniques, des canaux sensori-moteurs et des capacités humaines 8 Amélioration de la tâche Besoins et applications Analyse de données complexes et/ou abstraites ○ Visualisation graphique parfois limitée (ex : N dimensions) ou surchargée ○ Substitutions ou complémentarités sensori-motrices (audio, haptique) Interactions hommes-machines Conception et design Difficultés et progrès attendus Connaissances des caractéristiques humaines (psychophysique, cognition, perception…) Modèles et concepts théoriques Interfaces, applications et interactions nouvelles Nouveaux marchés 9 [ErgoWide3, Clarté / Didhaptic] [LIMSI-CNRS, 2007] [VR4D, Clarté] 10 Tâches en RV 11 Types de tâche [Bowman] Tâches élémentaires et fondamentales Souvent combinées pour créer une interaction plus complexe Navigation Sélection Manipulation Contrôle d’application 12 Navigation Déplacement ("Travel") Partie mobile de la navigation, déplacement physique d'un endroit à l'autre (déplacement du point de vue). Recherche de chemin ("Wayfinding") Composante cognitive, prise de décision de navigation "où suis-je ?", "où dois-je aller ?", "comment arriver là ?", etc. Exploration Navigation sans but explicite ni restriction Découverte et connaissance de l'environnement Recherche de cible Naive : position cible inconnue Ciblée : position connue Assistée : position connue par le système Manœuvre Tâche nécessitant mouvements courts et précis Changement faible du point de vue 13 Sélection Acquisition d'une cible : 1. 2. 3. Désignation d’un objet ou d’un ensemble d’objets pour un objectif donné Nécessite une validation de l'utilisateur Puis une confirmation du système 14 Manipulation Spécification/Modification des propriétés d’un objet ou d'un ensemble d'objets Géométriques : position, orientation, échelle Autres : couleur, texture… Nécessite une sélection préalable Composante active de l'I3D Manipulation directe ou indirecte (via outils virtuels ou matériels) 15 Contrôle d'application Regroupe les techniques d'interaction indirecte Exécuter une application Changer l’état du système Changer le mode d’interaction Envoi d'ordres (explicite ou implicite) au système 16 Modalités sensori-motrices (sortie) 17 Modalité : définition ENVIRONNEMENT VIRTUEL INTERACTION HUMAIN Modalités Informations Données Modèles … Modalités Modalités Médias ou Interfaces Canaux sensorimoteurs ENVIRONNEMENT REEL 18 Modalité : définition Différents moyens pour transmettre ou acquérir une information à travers les médias/canaux sensori-moteurs Modalités en sortie (ou rendu) : ○ affichage de texte, de formes, de couleurs… sur un écran ○ diffusion de musique, de voix, de sons iconiques… à travers un casque audio ○ création de forces, vibration… par une interface haptique Modalités en entrée (ou commande) : ○ ordres vocaux dans un micro ○ geste bi-manuel, gestes des doigts… avec des gants ○ pointage laser, mouvements… avec un capteur 6 ddl Dimension sensorielle + Dimension sémantique : Perçue par l’humain Porteuse de sens, traitée et comprise 19 Modalités visuelles Modèles 3d liés à la scène Ex : pièce mécanique, protéine, isosurface… Propriétés spatiales (position, orientation, échelle) et organisés hiérarchiquement (graphe de scène) Propriétés visuelles particulières ou générales : visibilité, texture ou shader réaliste, couleur pour collision, niveau de détail… Propriétés physiques ou comportementales visibles : non inter-pénétration, destruction… 20 Modalités visuelles Autres objets Eléments liés à l'interaction : main virtuelle, curseur… Texte : utile pour les informations numériques ou les messages complexes Eléments symboliques pour communiquer des informations sémantiques : bounding box, flèche, lumière, particules, trajectoires… Eléments graphiques interactifs (gui) : menu, icone, bouton, fenêtre d’affichage 2d insérée dans la scène… Humain virtuel : représente le ou un autre utilisateur, peut personnifier une assistance… 21 Modalités visuelles Caméra Modification du point de vue sur la scène par changements de propriétés spatiales ou d'autres paramètres Exemples : guides visuels Assistance pour atteindre un objectif : trajectoire optimale, attraction visuelle de l’effecteur virtuel, coloration des zones 3d à éviter… Blocage visuel des objets manipulés par l’utilisateur lorsque leur position devient incompatible avec une contrainte spatiale Masquage de certaines parties de l’environnement pour ne pas pouvoir y interagir Respect d'un modèle physique : non interpénétration visuelle… 22 Modalités audio Sons liés à la scène Autres sons Propriétés sonores Spatialisation des sources Volume, durée, fréquence, timbre Quels types de sons ? 23 Modalités audio Icône auditive Sons connus enregistrés et utilisés pour accompagner des événements Connus et correspondance symbolique ou métaphorique immédiate avec l’information à transmettre Correspondance entre le son et l'information : ○ Causale : son de frottement pour déplacement d’un objet ○ Métaphorique : bruit de porte qui se ferme pour la fermeture d’une application ○ Arbitraire (ne peut être compris que par expérience ou apprentissage) : 'bip' simple lorsque l’utilisateur à réussi à atteindre une cible Earcon Motifs musicaux Abstraits et arbitraires : reconnaissables par apprentissage de leur rythme, de leur hauteur et de leur volume 24 Modalités audio Message vocal Soit diffusion d’enregistrements vocaux, soit génération informatique Utile pour communiquer des informations linguistiques et/ou sémantiquement complexes à représenter via une autre modalité Musique, sons d'ambiance Auralisation (cf. visualisation) Transmission directe d'une donnée numérique en tant que son (ex : diffusion d’événements sismiques enregistrés) Projection des attributs des données sur une ou plusieurs dimensions du son : volume, durée, fréquence, timbre, localisation... Autres techniques de traitement sonore qui accentuent ou atténuent un son : distorsion, assourdissement… Synthèse : génération informatique de signaux sonores par des fonctions et des combinaisons mathématiques (ex : synthèse physique) 25 Modalités haptiques Forces Direction, intensité, profil… Éventuellement vibrations Intensité, fréquence… De quelles manières les utiliser ? 26 Modalités haptiques Rendu épistémique : interaction directe sur les données Efforts physiques des objets entre eux (collisions, frottements, déformations …) et les propriétés des objets (poids, inertie, texture…) Moteur physique nécessaire (ex : détection de collisions) Exemple : méthode des pénalités x 27 Modalités haptiques Haptisation (cf. auralisation) Transmission directe d'une donnée en tant que force (ex : champ de vecteurs) Projection des attributs des données sur des dimensions de la force (intensité, direction, fonction) ou de la vibration (intensité, disposition, fréquence, profil) Ex : textures haptiques Exemples : guides haptiques Assistance ou contrainte à l'action de l’utilisateur : attraction ou interdiction d’aller dans une zone de l’espace, bloquer certains degrés de liberté de l’interface… Plusieurs métaphores : aimantation, ressort, règle… 28 Instanciation des modalités Localisation spatiale (mod. visuelles et audio) : où ? point fixe de l’environnement réel point fixe dans le champ de vision de l’opérateur position éventuellement mobile liée à la scène Réalisation temporelle (mod. visuelles, audio et haptiques) : quand activer/désactiver ? comment diffuser ? En fonction d'un événement, d’une autre information (ex : collision, variable>seuil) En fonction des interactions (ex : entrée de la main dans une zone d'activation) En fonction du temps : ponctuelles, continues ou discontinues, répétées ou pendant une certaine durée 29 Modalités motrices (entrée) 30 Modalités de commande Position(s)-Orientation(s) 123d fixe translation vitesse accélération absolu/relatif Bouton discret, continu Geste Exercice : Quelles interfaces ? De la main, des x doigts, bi-manuel Posture du corps, mouvement, marche absolu/relatif Autres Mots clés Valeurs numériques Informations sémantiques complexes … 31 Techniques d’interactions 3D 32 Technique d’interaction Mise en œuvre des outils à disposition pour réaliser une tâche Instanciation et combinaison des modalités de commande et de rendu pour effectuer une tâche générale ou spécifique 33 Technique d’interaction ∃ plusieurs TI connues pour résoudre les tâches « classiques » Cf. patron de conception (design pattern) Décrivent des solutions standard pour répondre à des problèmes récurrents d'architecture et de conception des logiciels. Indépendants du langage de programmation 34 Technique de sélection Ray-casting Laser attaché à la main virtuelle Le premier objet qui se trouve en intersection avec le rayon peut être sélectionné Validation de la sélection Confirmation de la sélection Pointeur laser virtuel Main virtuelle Objet virtuel sélectionné Objets lointains Précision ? Masquage ? [Bowman et al. 1997] 35 Technique de sélection Ray-casting Modalités de commande : Pointage de la direction par la main (orientation 2ddl) Confirmation par bouton, timer… Modalités visuelles : Avatar de main : main virtuelle, baguette, flèche… Rayon laser virtuel (orientation 2ddl) Confirmation de la sélection par boîte englobante, couleur… Modalité sonore : Confirmation de la sélection par bip… … 36 Technique de sélection Ray-casting Pointeur 3D + ray casting pour sélectionner un objet Métaphore de montrer avec le doigt © 2002 Advanced Virtual Prototyping Group N.Murray, UK 37 Techniques de sélection Objet virtuel Main virtuelle Position main virtuelle Position main réelle Ivan Poupyrev, IS Lab, Hiroshima University, Japan Main virtuelle simple (Simple virtual hand) Go-go (Arm-extension) 38 Techniques de sélection Critères de choix Distance et direction de la cible Taille de la cible Densité des obstacles ou des distracteurs, occultations Nombre de cibles Nombreux travaux sur l'haptique 39 Techniques de manipulation Un objet doit être sélectionné avant de le manipuler (mais la sélection peut être utilisée toute seule, ex. choisir un objet pour le supprimer) La plupart des techniques de sélection peuvent être utilisées pour la manipulation Pour les manipulations spatiales : modifications dans le graphe de scène Critères de choix Distance et direction du déplacement Précision requise… 40 Techniques de navigation Choix des conditions d'entrée (début/fin) Mouvement constant Bouton Automatique… Choix de la direction/cible Direction du regard/tête (Gaze-directed steering) Direction de la main (Pointing) Sélection discrète ou continue par bouton… Choix de la vitesse/accélération Constant Geste de la main Support physique Automatique… 42 Techniques de navigation Facteurs de conception [Bowman 97] vitesse de déplacement précision conscience spatiale (connaissance de l’utilisateur de sa position et de son orientation dans l’environnement virtuel pendant et après la navigation) ; facilité d’apprentissage facilité d’utilisation capacité de l’utilisateur à collecter des informations sur l’environnement pendant le voyage présence (sentiment d'immersion) confort 43 Techniques de navigation Direction du regard Couplage des mouvements de la caméra virtuelle (orientation, translation, vitesse et accélération) avec les mouvements de la tête de l'utilisateur Mode le plus proche de la navigation naturelle : intuitif et égocentrique Peut être contraignant et/ou inconfortable 44 Techniques de navigation Direction pointée Couplage du point de vue avec les mouvements de la main ○ "Scène dans la main" : modifie la position/orientation de la scène virtuelle ○ "Caméra dans la main" : modifie la position/orientation de la caméra sur la scène virtuelle 45 [Liang] Contrôle d'application Menus 3D 1ddl : tourner la main autour d’un seul axe jusqu’à ce que l’élément désiré tombe dans une zone de sélection Avec widget : manipuler virtuellement un autre objet attaché à la main pour sélectionner dans le menu Outils virtuels [Shaw et Green] [Gorilla Exhibit menu Bowman et Hodges] [Hinz] 48 Contrôle d'application Menu 2D transformé Widgets 3D : sliders, boutons… Commande vocale Gestes Outils physiques Techniques souvent liées aux trois autres tâches (ex. menu 3d implique sélection) © 2002 Advanced Virtual Prototyping Group N.Murray, UK [Robertson] [Wloka] 49 Choix des modalités & Conception des interactions 50 Multimodal vs. Multi-sensoriel ENVIRONNEMENT VIRTUEL INTERACTION HUMAIN Modalités Informations Données Modèles … Multimodalité = Modalités Multi-sensoriel intelligent Modalités Contexte Médias ou Interfaces Canaux sensorimoteurs ENVIRONNEMENT REEL 51 Multimodal vs. Multi-sensoriel Système "multimédia" (IHM) ou "multi-sensoriel" (RV) Peuvent stimuler plusieurs canaux humains en utilisant plusieurs médias Pas de recherche de la meilleure adéquation entre le message à transmettre et le moyen de transmission Ex : baladeurs audio-vidéo, ordinateurs personnels… Système "multimodal" = Multimédia ou multi-sensoriel "intelligent" Optimisation de la transmission des informations en exploitant au mieux les modalités sur chaque canal/média Suppose des choix, des décisions = allocation modale Peut nécessiter une gestion des combinaisons de modalités 52 Allocation modale Etant donnés un ensemble de données et un ensemble de modalités, comment trouver la (combinaison de) modalité(s) qui communique efficacement toutes les données nécessaires pour réaliser une tâche ? [André 2000] "Règles de projection" (mapping rules) ou "fonctions transfert" entre Tâches à réaliser / information à transmettre Modalité ou combinaison de modalités disponibles Critères Moyens techniques et logiciels Caractéristiques de la tâche ou de l’information (cf. spécification des tâches) Propriétés des modalités Choix des développeurs et besoins des utilisateurs (degré d’assistance désiré…) Contexte de l’interaction 53 Degrés d’assistance « Ensemble de moyens et de guides informatiques que le système met à la disposition de l’utilisateur afin de l’aider et de le guider pendant qu’il interagit avec le monde virtuel » [Essabbah 2010] On peut faire correspondre différents degrés d’assistance aux modalités : Assistance sensorielle Afficher les objets, Informer d’une donnée, de l’existence d’une contrainte… Informer Informer d’un état binaire ponctuel, du non-respect d’une contrainte… Guider Modifier les interactions, Informer d’une donnée précise, de la relation d’un état courant avec un autre état… Contraindre Assistance motrice Empêcher totalement une interaction, le non respect d’une contrainte 54 Contexte de l’interaction « Toute information pouvant être utilisée pour caractériser la situation d’une entité considérée comme pertinente pour l’interaction entre un utilisateur et une application, y compris l’utilisateur et l’application eux-mêmes. » [Dey and Abowd 00] Statique vs. Dynamique Constant ou variant au cours du temps Exemples d'éléments du contexte Utilisateur(s) : ○ Nombre, caractéristiques sensori-motrices, expertise, préférences, objectifs… ○ Position, attention, interactions en cours, charge cognitive… Modalités et médias : disponibilité, nombre de modalités sur un média à 1 instant… État de la scène : données (positions, nombre), caméra, complexité… État de l’environnement réel : bruit, luminosité, interfaces… 55 Adaptable vs. Adaptatif Système adaptable Peut être configuré par un utilisateur en fonction de ses préférences, de ses besoins, des conditions d'utilisation… Système adaptatif Peut évoluer automatiquement et dynamiquement en fonction du contexte (au minimum à l’initialisation) « Context-awareness » 56 Spécificité modale Modal Specific Theory [Friedes, 1974] ∃ méthode unique de traitement de l’information pour chaque canal sensoriel ⇒ chaque modalité sensorielle est adaptée à un certain type d’information Vision : relations spatiales Audition : relations temporelles Haptique : mouvements (temporel + spatial) 57 « Hypothèses » multimodales Une modalité est plus ou moins adaptée à la transmission d’une information ou à la réalisation d’une tâche On en déduit 3 possibilités d’allocation : Assignation ○ Une modalité est plus adaptée et utilisée préférentiellement pour une tâche Équivalence ○ Plusieurs modalités de même valeur pour une tâche Substitution sensori-motrice ○ Choix d’une modalité autre que la modalité assignée/habituelle, éventuellement sur un autre canal (subst. sensori-motrice) 58 « Hypothèses » multimodales Une combinaison de modalités (sur 1 ou plusieurs canaux) peut être plus efficace qu’une modalité unique Redondance ○ Plusieurs modalités équivalentes utilisées pour une tâche, chacune étant suffisante Complémentarité ○ Plusieurs modalités pour plusieurs aspects complémentaires d’une même tâche ou d’une même information ○ Stricte : chaque modalité est nécessaire mais pas suffisante, intéressante mais pas complète ○ Partiellement redondante : un aspect est communiqué par plusieurs modalités La distribution des modalités sur plusieurs canaux permet de Percevoir plusieurs informations simultanément Diminuer la charge cognitive 59 Substitution sensori-motrice Remplacement du canal sensori-moteur naturellement utilisé pour communiquer une perception ou une action Fait partie des métaphores : opposée au schème Ex. de substitution sensorielle Son émis par un objet lors d'une collision avec un obstacle : Haptique -> Audio ○ OK si veut être informé de la collision ○ Pas suffisant si on veut connaître la direction et l'intensité de la force de collision Couleur ou texte pour information de température Ex. de substitution motrice Déplacement par commande vocale : Vestibulaire/Moteur -> Vocal ○ OK si veut se déplacer simplement dans un EV ○ Pas OK si veut étudier la locomotion humaine 60 Exemples d’allocations : observation de variables numériques Observation de la température d’un objet Modalité : ajout sémantique "couleur" sur l'objet observé Instanciation : rouge/bleu pour symboliser chaud/froid OU Modalité : ajout alphanumérique de la valeur de la température Instanciation : rouge/bleu pour symboliser chaud/froid Observation d'un volume sonore Modalité : ajout sémantique "barre graduée" = quantification du volume sur une échelle qui est intégrée à partir de la vue Rendu partiellement redondant et complémentaire avec le volume luimême perçu par l’ouïe 61 Métaphores Contournement des éventuelles difficultés techniques, économiques ou théoriques interdisant l’exploitation de schèmes pour les interactions "Image" (visuelle, sonore, haptique…) symbolique de l'action ou de la perception souhaitée Peut demander plus d'efforts cognitifs à l'utilisateur, qui doit comprendre la métaphore et l'assimiler (cf. icônes visuelles et auditives) Exemples : Validation d'un achat en cliquant sur une icône : remplace le schème de mettre l’objet dans un panier Navigation avec un joystick : métaphore du véhicule 62 Exercice #1 On cherche à placer un objet virtuel rigide de dimension m (ex. cube) dans un logement rigide de dimension n > m (ex. boîte), sans rentrer en collision avec les bords du logement On suppose une modalité de commande à 6 ddl par la main 1. Proposez des modalités visuelles, audio et haptiques en sortie permettant d'assister l'opérateur dans cette tâche de manipulation Détaillez leur fonctionnement Justifiez par l’information communiquée et le niveau d’assistance et discutez votre choix 2. Combinaisons des modalités Classez-les selon leur équivalence Déduisez-en leurs possibilités de redondance et de complémentarité 3. Adaptativité Indiquez quels éléments de contexte privilégient quelles modalités 63 Exercice #2 On cherche à empêcher totalement l’utilisateur de déplacer sa main virtuelle dans une certaine zone de l’espace 1. Proposez des modalités visuelles, audio et haptiques en sortie permettant d'assister l'opérateur dans cette tâche de manipulation (en supposant une modalité de commande à 6 ddl par la main) Détaillez leur fonctionnement Justifiez par l’information communiquée et le niveau d’assistance et discutez votre choix 2. Combinaisons des modalités Classez-les selon leur équivalence Déduisez-en leurs possibilités de redondance et de complémentarité 3. Adaptativité Indiquez quels éléments de contexte privilégient quelles modalités 69 Bilan 80 Bilan Dans l’absolu, possibilités illimitées En pratique, dans la plupart des cas : Mélange aspects réalistes et non-réalistes Transposition des usages pré-RV Réutilisation de techniques d’interactions bien connues Respecter les besoins, les usages et l’ergonomie des utilisateurs finaux Visuel omniprésent Audio absent ou simple (bip, sons réalistes pré-enregistrés) Haptique absent ou simple (collisions) Commande 6 dof (main virtuelle ou ray casting) avec boutons On évite Clavier/souris ! Des techniques d’interactions demandant apprentissage et effort cognitif pour les utiliser Des interactions bien conçues pallient des interfaces limitées 81 Bémol Discipline « jeune » Pas de standard technique ou logiciel Peu de standard théoriques (eg. techniques d’interactions, connaissances sur les utilisateurs) Besoin de « créer les besoins » 82 Du moteur de jeu au « moteur de RV » Gestion de plusieurs aspects de l’application Rendu graphique Rendu audio Gestion de l’architecture matérielle Gestion des interactions Simulation de l’environnement API En particulier Gestion du rendu stéréoscopique (caméra asymétrique) Gestion du multi-écrans Support des applications distribuées (clustering) Gestion des périphériques et du tracking (interfaçage VRPN) 83 Réalité Virtuelle Logiciels commerciaux Virtools & 3DVIA Studio + VR pack (Dassault System) AmiraVR (TGS) Plate-formes libres OpenMask (INRIA) VR Juggler Blender Cave 84
© Copyright 2025 ExpyDoc
