Après avoir conduit une recherche sur les paysages relaxants, j’ai choisi une savane et un environnement sous-marin.
Deux environnements de réalité virtuelle et détection des émotions par l’IA
- En vedette
- RV
- IA
Introduction
Quel était ce projet ?
Ce projet de maîtrise étudiait si des expériences de RV apaisantes pouvaient aider des personnes vivant avec un déclin cognitif à se détendre et à mieux réaliser des tâches cognitives.
Mon rôle
J’ai développé deux environnements de RV et participé à tout le processus de recherche : revue de littérature, conception RV, tests cognitifs, collecte et prétraitement EEG, extraction de caractéristiques, entraînement de modèles d’IA et rédaction scientifique.
Détails techniques
RV : Unity, C#
Tests cognitifs : JavaScript vanilla
Données : signaux cérébraux bruts (EEG)
IA et prétraitement : MATLAB, EEGLAB, Python, Scikit-learn, TensorFlow/Keras.
Période
2019-2020
Problème
Le déclin cognitif peut s’accompagner de frustration, de stress et de confusion.
- Les émotions négatives peuvent affecter le bien-être et les performances cognitives.
- Nous voulions mesurer si une immersion apaisante pouvait améliorer la détente et la cognition.
Solution
J’ai développé deux environnements de RV apaisants et un modèle d’IA capable de détecter la confusion dans les signaux cérébraux.
- J’ai développé deux environnements de RV relaxants.
- J’ai entraîné une IA à détecter la confusion à partir de signaux EEG.
- Nous avons mesuré les émotions négatives avant, pendant et après la séance de RV.
Processus
J’ai développé deux environnements de réalité virtuelle dans Unity. Parmi les fonctionnalités mises en place figuraient la navigation des PNJ (pathfinding) et un système de planification d’actions orientée vers les objectifs (GOAP). J’ai également conçu les environnements pour qu’ils soient adaptables en temps réel, notamment au niveau de l’éclairage, du volume sonore, des arbres, des animaux, de la couleur du ciel et des couleurs de l’environnement.
J’ai développé des tests cognitifs en JavaScript et recueilli des données EEG auprès des participants pendant qu’ils les réalisaient, en leur demandant d’évaluer leur niveau de confusion après chaque exercice.
J’ai nettoyé les signaux avec MATLAB et EEGLAB, retiré les artefacts par filtrage et ICA, puis extrait des caractéristiques FFT et de puissance par bande.
J’ai entraîné et comparé des modèles d’IA tels que le KNN, SVM et LSTM pour détecter la confusion à partir de signaux cérébraux.
Impact
Détente en RV
les résultats préliminaires indiquaient une baisse de la frustration pendant l’expérience Savannah, qui persistait après l’immersion.
78,6 %
de précision pour le meilleur modèle distinguant les états confus et non confus à partir de l’EEG.
Diffusion
ces travaux ont mené à mon mémoire de maîtrise et à deux articles scientifiques.