Traducator Kinect in limbajul semnelor – partea 1 – Microsoft Research

Astazi, avem prima parte a unui blog in doua parti postat de managerii de programe din Beijing si, respectiv, din Redmond – mai intai, Guobin Wu:

Ma consider incredibil de norocoasa ca sunt managerul de programe al proiectului Kinect Language Sign Translator. Exista mai mult de 20 de milioane de oameni in China cu dificultati de auz si aproximativ 360 de milioane de astfel de oameni din intreaga lume, astfel incat acest proiect are un potential imens de a genera un impact social pozitiv la nivel mondial.

Deschiderea de noi usi de comunicare pentru utilizatorii in limbajul semnelor

Imi amintesc clar efortul pe care l-am depus pentru a scrie propunerea. Stiam ca prof. Xilin Chen de la Academia Chineza de Stiinte cerceteaza tehnologia de recunoastere a limbajului semnelor de 10 ani si era dornic sa incerce tehnologia Kinect, care oferea un raport pret-performanta foarte favorabil. Ming Zhou, un cercetator principal de la Microsoft Research Asia, a avut o relatie de lucru buna cu prof. Chen si, la recomandarea puternica a lui Ming, am trimis propunerea traducatorului in limbajul semnelor ca raspuns la cererea lui Stewart Tansley pentru proiecte Kinect.

In primele sase luni, ne-am concentrat in principal pe colectarea si etichetarea datelor in limba semnelor chinezesti. Echipa prof. Chen a lucrat indeaproape cu prof. Hanjing Li de la scoala de educatie speciala de la Universitatea Uniunii din Beijing. Primul pas a fost recrutarea a doi sau trei studenti ai prof. Li care sunt surzi pentru a face parte din proiect. Un candidat s-a remarcat in special: Dandan Yin. Am fost emotionati cand, in timpul interviului, ea ne-a spus: „Cand eram copil, visul meu era sa creez o masina pentru a ajuta oamenii care nu aud.”

Urmatoarea etapa a fost construirea unui sistem de recunoastere a limbajului semnelor. Echipa a publicat multe lucrari care explica detaliile tehnice, dar ceea ce vreau sa subliniez aici este natura colaborativa a proiectului. In fiecare luna, am avut o intalnire a echipei pentru a analiza progresul si a ne planifica urmatorii pasi. Expertii dintr-o serie de discipline – modelarea limbajului, traducerea, viziunea computerizata, recunoasterea vorbirii, modelarea 3D si educatia speciala – au contribuit la proiectarea sistemului.

Sistemul nostru este inca un prototip de cercetare. Se progreseaza de la recunoasterea cuvintelor izolate semnate de o anumita persoana (modul traducator) la intelegerea comunicarii continue de la orice semnatar competent (modul comunicare). Prototipul nostru actual poate produce cu succes rezultate bune pentru modul traducator si lucram cu sarguinta pentru a depasi obstacolele tehnologice, astfel incat sistemul sa poata intelege si interpreta in mod fiabil in modul de comunicare. Si, in timp ce rezolvam acele provocari, incepem, de asemenea, sa construim vocabularul sistemului despre gesturile limbajului semnelor americane, care sunt diferite de cele din limbajul semnelor chinezesc.

Am avut norocul de a demonstra sistemul atat la Microsoft Research Faculty Summit, cat si la reuniunea companiei Microsoft din acest an. Dandan a participat la ambele evenimente si si-a aratat profesionalismul ca semnatara. Dupa Summitul Facultatii din iulie, ea a multumit emotional Microsoft pentru ca si-a transformat visul in realitate. Am fost aproape emotionat pana la lacrimi de primirea noastra in timpul sedintei companiei, prima la care am participat vreodata personal. Si am fost incantat sa aud aplauze tunatoare cand Dandan a comunicat cu un angajat auditor folosind sistemul nostru.

De la aceste demonstratii, proiectul a primit multa atentie din partea cercetatorilor si a comunitatii surzilor, in special in Statele Unite. Ne asteptam ca tot mai multi cercetatori din diferite discipline si tari diferite sa construiasca in colaborare pe prototip, astfel incat sistemul Kinect Traducator in limbajul semnelor sa beneficieze in cele din urma comunitatii globale a celor surzi sau cu deficiente de auz. Proiectul in limbajul semnelor este un exemplu excelent de selectare a proiectului tehnic potrivit cu partenerii inovatori potriviti si aplicarea efortului si perseverentei de-a lungul anilor. A fost un efort minunat, multidisciplinar, de colaborare si sunt onorat si mandru ca sunt implicat.

—Guobin Wu, Manager program de cercetare, Microsoft Research Asia

Afla mai multe

• Traducator Kinect in limbajul semnelor – partea 2 (blog)
• Deschiderea unor noi usi de comunicare pentru utilizatorii in limbajul semnelor (video)
• Kinect pentru Windows
• Kinect pentru Windows Dev Center
• Cercetare in atentie: Traducerea limbajului semnelor (video)
• Kinect Language Sign Translator extinde posibilitatile de comunicare pentru surzi
• Microsoft Research Asia
• Academia Chineza de Stiinte
• Universitatea Uniunii din Beijing
• Interfata naturala a utilizatorului la Microsoft Research Connections