Cette thèse propose de concevoir une plateforme immersive centrée sur l’humain, permettant à des experts et des opérateurs distants permettant d’interagir de manière naturelle et collaborative autour de multi-jumeaux numériques d’outils pédagogiques. En s’appuyant sur la réalité étendue, l’environnement envisagé dépasse les limites des formations classiques en ligne en introduisant des représentations numériques interactives et manipulables de machines/robots et d’outils, offrant ainsi une expérience plus riche et plus proche des situations réelles de formation. L’originalité de cette approche réside dans l’intégration de différents niveaux de collaboration au sein d’un même espace immersif, incluant les interactions directes entre expert et opérateurs, les interactions hybrides où des utilisateurs présents sur site collaborent avec d’autres à distance autour des jumeaux numériques simulant des outils pédagogiques. De plus, cette solution permettrait les interactions spécifiques entre l’expert et l’ensemble des jumeaux numériques proposés, ainsi que la communication autonome entre les jumeaux numériques eux-mêmes. La contribution attendue se situe dans la proposition d’une architecture ou d’un framework pour une plateforme XR innovante, visant à soutenir la formation et l’assistance collaborative à distance, accompagnée d’un prototype de preuve de concept (POC) démontrant la faisabilité de l’approche. Des évaluations seront également réalisées afin de mesurer l’utilisabilité, l’acceptabilité et

These last years have seen an explosion of novel tactile technologies providing various haptic sensations across all the user’s body. However, while these technologies have now been made available, virtual reality systems are still struggling to convey compelling tactile sensations for 3D interaction. The project ADVHANDTURE aims at introducing an original computational approach for handling multimodal tactile feedback within immersive environments. For that purpose, the project relies on a multidisciplinary methodology, gathering knowledge in human perception, haptics, virtual reality, mechanics and 3D interactions. PHD Topic Within the context of ADVHANDTURE, the goal of the PhD is to design 3D interaction techniques for interacting with deformable surfaces in mixed reality. The main scientific question relies on the combination of tactile stimuli within the hand. For that purpose, the main objective of the PhD is to study how we can improve the interaction with mixed reality environments composed of deformable surfaces by taking the best of two simple haptic solutions: tangible objects and wearable haptics. Tangible objects will simulate the global and distributed shape/percept of the virtual/augmented object, while wearable haptics will dynamically change its physical properties.