Avec «Star», l’avatar de Huawei, la langue des signes s’apprend en s’amusant

InnovationLe développeur chinois utilise l’intelligence artificielle pour traduire des livres en langue des signes. Lancement en Romandie.

Image: DR

Signaler une erreur

Vous voulez communiquer un renseignement ou vous avez repéré une erreur ?

Et si un avatar sympathique pouvait «traduire» un livre pour enfants en langue des signes? C’est le concept qu’a développé Huawei dans sa nouvelle application mobile «Story Sign», destinée aux jeunes sourds et à leurs parents qui pourront leur lire une histoire au coin du lit. Lancée fin 2018 dans plusieurs pays d’Europe, dont la France et l’Allemagne, l’application, disponible gratuitement sur n’importe quel smartphone utilisant Android, arrive en Suisse romande.

Concrètement, il suffit de se munir de l’un des trois livres papier déjà traduits pour la région. Soit pour la Romandie: «Où est Spot mon petit chien?» «Il y a un dragon dans ce livre» et «Au lit, petite licorne», choisis en fonction de leur popularité dans la région selon les développeurs. L’enfant ouvre le bouquin de son choix, lance l’application et tient le téléphone au-dessus de la page pour scanner chaque ligne de texte. Apparaît «Star», le petit personnage aux cheveux bleus imaginé par les studios anglais Aardman Animations (Wallace et Gromit), qui signe alors l’histoire en simultané. Chaque mot signé apparaît en surbrillance sur l’écran.

En Suisse, 10’000 personnes sont atteintes de surdité. En mettant à profit l’intelligence artificielle, le constructeur chinois vise ainsi à favoriser l’apprentissage de la langue des signes et de la lecture, étape souvent redoutable pour les jeunes sourds et malentendants. Enfants et parents peuvent alors apprendre ensemble à lire et à signer. Une «très bonne idée» pour Anne Catherine Merz, présidente de l’Association Vaudoise de Parents d’Enfants Déficients Auditifs: «la langue des signes a tendance à se perdre de nos jours. Elle est difficile à assimiler, d’abord pour les parents, et peu de moyens existent.»

Pour animer l’avatar, Huawei a fait appel à la société de production interactive Make Me Pulse (MMP), qui a utilisé la technologie de capture de mouvement, très réputée dans le cinéma et les jeux vidéo. Avec des dizaines de capteurs placés sur le corps et le visage, un signeur s’est chargé de traduire chaque phrase des bouquins. «C’est un processus long et complexe, explique Mathias Roumy, responsable de la traduction pour la Suisse romande chez MMP. La langue des signes utilise beaucoup d’expressions faciales et de mouvements différents qui nécessitent de la précision pour la bonne compréhension.»

D’autant que les signes diffèrent d’une langue à une autre. Et même en fonction du pays. En Suisse romande, par exemple, le langage des signes ne se parle pas exactement comme en France. Pendant le tournage, un coach d’acteurs ainsi qu’un interprète de la Fédération Suisse des Sourds (FSS) étaient présents pour contrôler chaque traduction.

«C’est une première pour les enfants sourds, se réjouit Sandrine Burger, porte-parole romande de la FSS. Jusqu’ici, l’offre était très pauvre en matière d’apprentissage ludique de la langue.» Hormis les applications destinées aux adultes comme «Spread The Sign», les enseignants en langue des signes, les conteurs ou les traducteurs lors de séances spéciales au cinéma, il n’existait jusqu’alors que des DVD pour la famille «qui commençaient à dater un peu», précise la porte-parole.

Avec cette application, qui témoigne du potentiel de l’usage de l’intelligence artificielle et de la technologie de Reconnaissance Optique des Caractères (ROC) sur smartphone, les développeurs espèrent allonger leur librairie. «Story Sign» existe aujourd’hui en sept langues différentes, uniquement en Europe, et compte trois livres par dialecte. Huawei a annoncé vouloir augmenter ce dernier chiffre à cinq d’ici l’année prochaine.

Créé: 07.09.2019, 17h47

Publier un nouveau commentaire

Nous vous invitons ici à donner votre point de vue, vos informations, vos arguments. Nous vous prions d’utiliser votre nom complet, la discussion est plus authentique ainsi. Vous pouvez vous connecter via Facebook ou créer un compte utilisateur, selon votre choix. Les fausses identités seront bannies. Nous refusons les messages haineux, diffamatoires, racistes ou xénophobes, les menaces, incitations à la violence ou autres injures. Merci de garder un ton respectueux et de penser que de nombreuses personnes vous lisent.
La rédaction

Caractères restants:

J'ai lu et j'accepte la Charte des commentaires.

No connection to facebook possible. Please try again. There was a problem while transmitting your comment. Please try again.