ELOCANS : l’analyse des mouvements oculaires pour l’interaction humain-système

Crédits : The Digital Artist - Pixabay

Traditionnellement, le suivi oculaire se fait via le flux vidéo et l’illumination infra-rouge (IR), ce qui présente des inconvénients comme : l’encombrement, l’obstruction du champ visuel, l’intégration complexe dans le système d’arme, ainsi que le coût et la consommation énergétique. Avec ELOCANS, l’Agence de l’innovation de défense explore une alternative électro-oculographique évitant ainsi l’obstruction du champ visuel, accessible à faible coût et ayant une faible consommation. Cependant, celle-ci a pour principal inconvénient une précision modérée (soit ~3° horizontalement et ~4° verticalement). 

ELOCANS vise à étudier un casque de pilote et un visio-casque de réalité virtuelle, pour intégrer les électrodes sur les surfaces disponibles. Débuté le 1^er janvier 2019, il est prévu pour une durée de 42 mois. Pour mener à bien ces recherches et obtenir un démonstrateur fiable à l’issue, le projet est organisé en différentes phases : 

Placement alternatif des électrodes

Traditionnellement, les électrodes pour l’électro-oculographie se placent autour des yeux. Cependant et afin d’obtenir un signal EOG compatible avec la future intégration dans un casque de pilote, il est nécessaire d’étudier le placement des électrodes sur d’autres zones. Deux sont notamment intéressantes : autour des oreilles pour intégrer les électrodes sur les oreillettes et la ligne du front pour les intégrer dans le coussin de tête. Cette analyse comprend un volet théorique (l’état de l’art des travaux existants) et un volet pratique à travers une expérimentation pour mieux comprendre la signature des mouvements oculaires sur les différentes électrodes en fonction de leur positionnement.

Crédits : ISAE-Supaéro

Traitement du signal, filtrage des données et interactions humain-système via EOG

Dans cette phase, l’objectif est d’étudier l’interaction de l’ordinateur, puis ensuite du cockpit de l’aéronef avec le dispositif développé dans la phase précédente. Le traitement des données permettra, à partir du signal électrique reçu par les électrodes, de détecter en temps réel les évènements oculaires tels que les clignements et les saccades. Des algorithmes seront ensuite utilisés pour intégrer ces éléments à bon escient dans l’interaction humain-système et le suivi de l’état psycho-physiologique de l’utilisateur.

Suivi de l’état psycho-physiologique via EOG

Dans un premier temps, c’est l’état psycho-physiologique de fatigue et de somnolence du pilote qui sera étudié avec précision. L’estimation de cet état est basée, dans la plupart des cas, sur les variations des clignements oculaires. Ainsi, est-il nécessaire de concevoir une méthode permettant d’évaluer de façon robuste :

• le nombre de clignement au cours du temps (leur fréquence) ;
• leur durée individuelle ainsi que la moyenne sur une période ;
• si possible, la vitesse de la fermeture et de l’ouverture de la paupière.

Validation en environnement réel et virtuel

Enfin, il s’agira de sortir peu à peu du laboratoire et de valider l’approche globale dans les conditions virtuelles puis réelles, grâce à l’étude d’un pilote muni d’un casque audio avec les électrodes intégrées à bord d’un simulateur puis d’un avion. Le but est de vérifier la qualité du signal dans une situation réelle (interférences magnétiques et nombreux artefacts potentiels dus aux mouvements) et de s’assurer que la détection des évènements oculaires est bel et bien fonctionnelle en situation de pilotage. Une interaction via la gestuelle oculaire pourra alors être proposée, ainsi que le suivi du niveau de fatigue. Tout ceci sera testé au cours d’expérimentations.

Plusieurs tests sont envisagés en environnement réel : 

• à l’ISAE-SUPAERO à bord d’un avion équipé d’un système d’oculométrie SmartEye intégré, afin de valider la détection des évènements oculaires ;
• à l’école de l’Air avec les experts opérationnels pour valider la faisabilité de l’interaction via l’EOG ;
• au centre d’expertise et d’essais de la Direction générale de l’armement (DGA) Essais en vol à Istres.

Crédits : ISAE-Supaéro

Prototypage

Un prototype fonctionnel suffisamment représentatif, utilisable en situation opérationnelle, en ressemblant les briques logicielles avec les électrodes placées sur les emplacements préalablement déterminés sera développé.

A ce stade, les résultats obtenus se montrent très prometteurs et laissent espérer une poursuite ultérieure de ces travaux avec un partenaire industriel.

¹Electro-oculométrie pour l’interaction humain-système et le suivi physiologique dans les environnements réels et virtuels.

²L’électro-oculographie, ou EOG, est un examen de la rétine que l’on réalise quand on suspecte un dysfonctionnement au niveau de la macula, la région responsable de la vision des couleurs.C'est aussi un examen pour mesurer les mouvements des yeux pour analyser le déroulement du sommeil. Pour ce faire, on place des électrodes sur la tête (à côté des yeux, des oreilles et sur le front) pour détecter le potentiel électrique.