Kunstmatige intelligentie en augmented reality in combinatie zouden ooit de communicatie tussen horende en dove mensen kunnen vergemakkelijken. Een leerling heeft een app ontwikkeld die vinger-alfabetgebaren in realtime herkent en vertaalt.

Ricardo Santana studeert lucht- en ruimtevaarttechniek aan de Technische Universiteit Delft, waar hij zich onder meer bezighoudt met AI-technologie. In een van zijn onderzoeksprojecten trainde Santana een AI om karakters uit het Noord-Amerikaanse vingeralfabet te herkennen.
In een video laat hij het resultaat van zijn werk zien. Hij spelt zijn naam alleen met gebaren. De AI herkent de karakters en toont de betreffende letter boven de hand.

Kunstmatige intelligentie (ook wel artificial intelligence genoemd) ondersteunt doven en doofstommen al in communicatie door gesproken taal te vertalen naar geschreven taal. Dit is te zien in het uitstekende dovendrama "Sound of Metal" (Amazon-link), dat dit jaar werd genomineerd in zes categorieën bij de Academy Awards, waaronder die voor Beste Film.

Het omgekeerde communicatiepad, d.w.z. van dove naar horende, blijkt moeilijker te zijn, aangezien de meerderheid noch het vingeralfabet noch de gebarentaal begrijpt. Als AR-bril ooit de overhand zou krijgen, zouden ze de gebaren direct in hun eigen gezichtsveld kunnen vertalen en zo helpen bij de communicatie. Volgens Human Rights Watch gebruiken meer dan 70 miljoen mensen wereldwijd gebarentalen.

De technologie moet horende mensen ook helpen om vingeralfabet of gebarentaal te leren. De eerste innovaties in deze richting zijn al in virtual reality te zien: een Zwitserse student heeft een VR-app ontwikkeld waarin je het vingeralfabet kunt oefenen door de karakters met je eigen handen na te bootsen. In een testmodus kun je dan uitproberen of je de gebaren goed hebt geleerd.

Dit wordt mogelijk gemaakt door de optische hand- en vingertracking van de Oculus Quest, waarmee ook doven met gebarentaal in VR met elkaar kunnen praten.

Bron en omslagfoto: Ricardo Santana via Linkedin