Introduction
Ce projet s'inscrit dans le cadre de la découverte du développement AR avec Unity autour du casque de Hololens de Microsoft.
Vidéo de la présentation de la démonstration
Objectif
L'objectif principal de ce projet est la découverte de l'environnement de développement et du SDK pour Unity permettant d'exploiter les capacités de réalité augmentée de l'Hololens de Microsoft.
L'objectif à atteindre était concrètement d'afficher en AR une procédure de remplacement d'une pièce sur un des matériel vendu par la société Timcod pour laquelle je suis en poste actuellement.
Le choix s'est tournée vers le remplacement de la tête d'impression pour le faible nombre d'étape à implémenter.
Un changement se tête se résume en quelques étapes :
- Ouvrir le capot de l'imprimante
- Déverrouiller le bloc d'impression.
- Dévisser la tête d'impression
- Remplacer la tête.
L'objectif initial était de voir l'imprimante et de communiquer avec le casque par la voix pour passer les étapes les unes après les autres.
Il à été possible d'ajouter quelques interactions gestuelles pour manipuler l'hologramme.
Exclusions du périmètre :
- Détection automatique de l'imprimante a partir de Tags / Vuforia ou du modèle 3D.
- Interactions avec l'environnement physique.
Réalisation
Fonctionnalités
Interactions vocales
Des commandes vocales permettent d'interagir avec le casque de réalité augmentée
- Next : Permet de passer a l'étape suivante
- Up, Down, Left, Right, Front, Back : Permettent de déplacer l'imprimante dans son repère local dans les direction citées.
- Turn : Permet de fair tourner l'imprimante de 45° sur l'axe des Y dans son repère local.
- Move : Téléporte l'imprimante a la position du casque dans l'environnement Physique.
Interactions gestuelles
L'application met à disposition une gestuelle à deux mains qui autorise :
- Le déplacement.
- La rotation.
- La mise à l'échelle.
Modélisation
Afin de minimiser le travail de modélisation j'ai pu récupérer les modèles 3D des imprimantes de Zebra directement depuis leur portail développeur.
L'objet à été intégré dans blender pour cette étape.
Je me suis contenté de découper l'objet en différentes parties qui seront animées par la suite.
L'objet étant fournit sans matériaux ni textures, je me suis contenté d'un travail rapide sur ce point.
La seconde étapes à consisté a animer l'objet en fonction des différentes étapes de la procédure.
Développement
Le développement a été réalisé sous Unity 2019.4.13 en C#.
Le Mixed Reality Tool Kit V1 à été utilisé pour exploiter l'Hololens.
Test
Le test s'est fait avec Unity et l'outil Unity Remote permettant de streamer le projet d'Unity sur l'Hololens tout en exploitant les retours du casque.
Déploiement
Le déploiement de l'application se fait à travers Visual Studio 2019.
L'application générée est une application UWP x86 déployée sur une machine distante.