Implicatiile drepturilor omului ale instrumentului „Personality Insights” de la IBM Watson

Declinare de responsabilitate: Nu am nicio afiliere cu IBM si nici cu oricare dintre companiile mentionate in aceasta postare de blog. فارسی را از متن اینجا بخوانید

Nu-mi plac testele de personalitate!

Fie ca dezvaluie ceva corect sau rau despre tine, nu vreau sa reduc intelegerea oamenilor despre mine la patru litere, sau cinci numere sau cateva semne. As putea scrie multe pagini despre modul in care acest mod slapdash de a „intelege” o persoana ar putea duce la discriminare la locul de munca, judecata gresita sau incalcari ale vietii private, dar nu acesta este chiar scopul acestui blog – desi este motivatia din spatele scrierii acesteia .

Aici, ma voi concentra pe o noua forma specifica de testare a personalitatii – una care se bazeaza pe invatarea automata. Ma refer la produsul IBM Watson numit Personality Insights. Potrivit site-ului IBM, instrumentul „foloseste analize lingvistice pentru a deduce caracteristicile intrinseci ale personalitatii indivizilor, inclusiv Big Five [sau OCEAN], Nevoile si valorile, din comunicatii digitale, cum ar fi e-mail, mesaje text, tweets si postari pe forum”. In plus, Personality Insights va arata obiceiurile de consum si „comportamentul temporal” (daca textul introdus este marcat cu timp).

Permiteti-mi sa va arat ce inseamna asta. Am hranit instrumentul cu fluxul meu Twitter si am primit aceasta vizualizare frumoasa a rezultatelor instrumentului, aratandu-mi caracteristicile de personalitate, nevoile consumatorilor si valorile mele:

Daca va uitati in fisierul de iesire (aici), puteti vedea ca, potrivit instrumentului, sunt mai probabil sa „fiu influentat de anunturile online atunci cand fac achizitii de produse”. De asemenea, sunt mai probabil sa ma ingrijoreze mediul inconjurator si sa-mi placa documentarele si sunt mai putin probabil sa-mi placa filmele muzicale (obiectia ????????: una dintre emisiunile mele preferate in zilele noastre este Crazy Ex-Girlfriend).

Dupa ce am vazut aceste rezultate, mintea mea cinica s-a indreptat direct catre Cambridge Analytica, compania care a folosit activitatile media sociale ale oamenilor pentru a prezice profilul lor psihologic si, mai tarziu, comportamentul lor de vot.

Asadar, in calitate de cercetator in tehnologie si drepturile omului, am decis sa ma sap si sa ma joc cu instrumentul.

Iata o scurta prezentare generala (bazata partial pe pagina GitHub IBM Personality Insight si alte documente publice):

Introducere : Personality Insights preia tweet-urile, e-mailurile, mesajele text, postarile de pe blog si / sau orice altceva scris de persoana a carei personalitate este evaluata. In prezent, instrumentul accepta limbile engleza, spaniola, japoneza, coreeana si araba, desi, potrivit site-ului web, rezultatele pentru araba si coreeana nu sunt suficient de bune pentru a fi concludente. Puteti alimenta instrumentul cu doar 100 de cuvinte pentru a obtine un rezultat, cu toate acestea, pentru cea mai buna precizie aveti nevoie de aproximativ 3.000 de cuvinte dintr-un text de intrare. (Demo-ul si documentatia IBM intra in mai multe detalii despre formatele acceptabile pentru intrari.)

Iesire : dupa procesarea datelor de intrare, instrumentul returneaza rezultatul complet (in format JSON sau CSV), aratand 52 de caracteristici ale personalitatii dvs. in scoruri numerice, in plus fata de comportamentul dvs. de consum. Scorul este exprimat ca procent din populatia esantion. De exemplu, daca scorul meu caracteristic „aventuros” este de 0,25 inseamna ca, pe baza scrisului meu, sunt mai aventuros decat cei 25% din populatia esantion si mai putin aventuros decat 75% dintre ei.

Nota: Populatia esantion este compusa din utilizatori Twitter ale caror informatii au fost colectate si analizate de IBM Personality Insights. Populatia esantion pentru fiecare limba este de un milion de utilizatori pentru limba engleza, doua sute de mii de utilizatori pentru coreeana, o suta de mii de utilizatori pentru fiecare dintre limbile araba si japoneza si optzeci de mii de utilizatori pentru spaniola. Demografia populatiei esantion – inclusiv varsta, sexul, nivelul de alfabetizare etc. – nu a fost dezvaluita.

Instrumentul furnizeaza, de asemenea, scorurile brute daca doriti sa faceti o normalizare personalizata pe baza propriei populatii esantioane (de exemplu, scorul dvs. in comparatie cu angajatii companiei pentru care lucrati). Mai multe despre formatul de iesire si interpretarea acestuia pot fi gasite aici si aici.

Model : Metoda de baza se bazeaza pe abordarea Open-Vocabulary. Aceasta metoda a fost dezvoltata de cercetatorii de la Universitatea din Pennsylvania care au analizat starea Facebook a 75.000 de utilizatori voluntari. Pe baza acestei analize si a chestionarelor de personalitate insotitoare, au construit modele pentru a prezice varsta, sexul si personalitatea unui individ.

Infrastructura analizei limbajului Open Vocabulary (sursa)

Cu toate acestea, versiunile anterioare ale Personality Insights foloseau dictionarul psiholingvistic Lingwistic Inquiry and Word Count (LIWC). (Puteti citi mai multe despre dictionarul LIWC aici.)

Pentru a construi instrumentul Personality Insights, cercetatorii IBM au efectuat, de asemenea, un set de studii de fond si au dezvoltat diferite modele de invatare automata pentru a intelege relatia dintre activitatea Twitter a oamenilor si caracteristicile lor de personalitate. De exemplu, prin studierea a 3500 de utilizatori Twitter, au aflat ca persoanele care redistribuie mai mult sunt susceptibile de a fi calificate drept modeste, deschise si prietenoase. Pentru a citi si a intelege studiile de baza, consultati acest link.

Pentru a o pune pe scurt, Personality Insights foloseste tehnica open-source GloVe Word Embedding pentru a construi reprezentarea vectoriala a fiecarui cuvant din textul de intrare. Apoi ii alimenteaza intr-un algoritm de invatare automata pentru instruire si testare (nu exista nicio explicatie suplimentara despre detaliile acestui algoritm; totusi, intr-un studiu intitulat 25 Tweets to Know You: A New Model to Predict Personality with Social Media, cercetatorii IBM caracteristici integrate de incorporare a cuvintelor GloVe cu regresia Proceselor Gaussiene pentru a deduce caracteristicile personalitatii.)

Instruire: modelul este instruit pe baza sondajelor efectuate in randul a mii de utilizatori, impreuna cu datele din fluxurile lor Twitter. Nu exista alte detalii despre datele demografice (varsta, sex, limba, nivel de alfabetizare) ale populatiei care au fost chestionate, dar studiile anterioare IBM au folosit in cea mai mare parte date si sondaje Twitter de la utilizatori vorbitori de limba engleza pentru a-si antrena si testa modelele.

Metrici de evaluare: Pentru a intelege acuratetea Personality Insights, IBM a realizat un studiu de validare prin colectarea raspunsurilor la sondaje si fluxuri Twitter de la 1500 la 2000 de participanti pentru toate limbile. Apoi au comparat scorurile sondajului cu scorurile obtinute din Personality Insights si media masurata a erorii absolute (MAE) si corelatia medie dintre cele doua scoruri pentru diferite categorii de caracteristici ale personalitatii. (Retineti ca MAE este intre 0 si 1, unde 0 inseamna ca scorul prezis este exact acelasi cu scorul real (sondaj), iar 1 inseamna eroare maxima. Corelatia este pe o scara de la -1 la 1. Retineti ca cea mai buna medie corelatia este de 0,35, care nu este mare, totusi, conform site-ului web IBM, in literatura de cercetare pentru acest domeniu, corelatiile mai mari de 0,2 sunt considerate acceptabile.)

Eroare medie medie absoluta si corelatie medie in functie de limba pentru IBM Personality Insights (sursa)

Cateva puncte importante despre model :

• Modelele pentru toate limbile acceptate sunt construite in acelasi mod. In cazul textelor Twitter, acest lucru inseamna ca modelul presupune ca comportamentul Twitter al oamenilor este independent de limba / tara lor.
• Instrumentul nu ia in considerare datele demografice ale utilizatorilor, cum ar fi varsta, sexul, rasa si cultura (mai multe aici). Cu toate acestea, in viitor, IBM ar putea dezvolta modele care sunt specifice demografiei diferite. In colaborare cu Acxiom, IBM a realizat un studiu in care au aratat „folosind datele demografice si caracteristicile de personalitate , impreuna , de obicei , produce o precizie mai buna“ pentru a prezice comportamentul de consum ale oamenilor in scopuri de marketing.

Dupa ce am dobandit cateva cunostinte despre modul in care functioneaza instrumentul, am decis sa fac cateva experimente dupa cum urmeaza:

Joc inceput!

Sa presupunem ca am aplicat pentru o slujba care necesita scrierea blogului Organizatia imi cere sa trimit esantioanele mele de scris si decid sa le indrept catre foile mele postari de pe blog.

pelis porno francesas sexo con cincuentonas
porno jovencitas españolas porno xxxxx
megacorridas follando abuelas
tangas xxx porno incesto italiano
porno suizo incesto italiano porno
follando a mi compañera de piso follada a traicion
porno flash chochitos jovenes
porno casero en españa españolas amater
orgias amateur realincest
videos culos follando en silencio
enanas porno maduras gordas desnudas
pajas de madres videos de sexo en español
porno con abuelas pollas peludas
sexo gratis hijo viola a su madre porno
parejas liberales españolas comic porno en español
pono gay venezolanas maduras
abuelas sexi videos gays argentinos
porno sin censura maduras sensuales
incesto lesbianas me gusta follar
putas vic buenas pajas

Managerul de angajare decide sa ruleze postarile mele de pe blog pe Personality Insights pentru a obtine o intelegere despre mine. Ea hraneste instrumentul cu trei dintre postarile mele de blog anterioare (Glisati la stanga: Practicile de confidentialitate ale aplicatiilor de intalniri online, lucratorii tehnici din lume, uniti-va pentru drepturile omului !, si Anuntand buletinul informativ Humane AI) si obtine rezultatul ei. Ea continua apoi sa descopere ca, conform acestui instrument, eu trag de „Ordinea”, „Dutilitatea” si „Gregariozitatea”! Da, toate calitatile bune pe care seful dvs. ar dori in mod ideal sa le aveti …

Cum pot remedia problema? Am putea decide sa faca modificari mici in textul meu , in scopul de a fenta rezultatul si de a face eu un candidat mai bun potential de locuri de munca. De exemplu, aici voi face cateva modificari minore la postarile respective si voi alimenta instrumentul cu textul modificat.

Citind mai multe despre dictionarul de ancheta lingvistica si de numarare de cuvinte (LIWC), am aflat ca obisnuinta de a folosi anumite categorii de cuvinte are o relatie cu caracteristicile dvs. de personalitate. Asadar, am decis sa schimb pronumele singular la persoana intai la plural si am adaugat alte cateva modificari textului meu original.

Aici puteti vedea modificarile pe care le-am facut (codate in culori in verde):

Extras din postarea mea pe blog, introducerea Personality Insights (fraze modificate in verde)

Misiunea indeplinita ! Doar cateva modificari minuscule (cum ar fi eliminarea cuvintelor potential negative si egoiste, cum ar fi „ingrijorat”, „al meu” si „al meu”) mi-au imbunatatit caracteristicile de personalitate pentru a infatisa un candidat la munca mai de incredere si mai constient, care abia asteapta sa urce scara corporativa, pas cu pas! 😉

Rezultatul Personality Insights pe postarile mele de pe blog (texte originale si modificate; scoruri percentile)

Undeva pe parcurs, mi-am pierdut si din emotionalitatea si interesele artistice. De asemenea, retineti ca aceste rezultate – atat textul original, cat si textul modificat de pe blogurile mele – sunt foarte diferite de rezultatele bazate pe feedul meu Twitter (care sunt afisate la inceputul acestei postari).

Aici puteti vedea fisierele de intrare si iesire.

Pentru al doilea experiment, am decis sa alimentez instrumentul cu discursurile publice ale Rep. Ilhan Omar. La fel ca experimentul anterior, am modificat textul dupa cum urmeaza:

Un extras din discursul Rep. Ilhan Omar (cuvinte originale in negru, cuvinte modificate in verde)

Si iata rezultatul. Schimbarile sunt foarte nesemnificative, dar totusi m-au facut sa meditez despre implicatiile acesteia, marite pe o scara mai mare! (puteti vedea fisierele de intrare si iesire aici)

Rezultatul Personality Insight la discursurile Rep. Ilhan Omar (versiuni originale si modificate, scoruri percentile)

Prin utilizarea acestui exemplu, nu vreau sa concluzionez ca Personality Insights de la IBM este discriminatoriu fata de un anumit grup religios. Dar eu nu doresc sa arate ca trebuie sa existe o variabila sau o combinatie de variabile sau a unor modele in datele de formare (fie in partea de reprezentare Glove cuvant sau modelul final) , care a creat astfel de diferente – si ar fi foarte valoros pentru a intelege rationamentul din spatele acestor diferente.

Atata timp cat modelul este o cutie neagra, nu suntem in masura sa interpretam principalele motive pentru modificarile productiei. Ma ingrijoreaza cum aceasta lipsa de transparenta in procesul de luare a deciziilor instrumentului poate dauna anumitor grupuri religioase daca – sa spunem, ipotetic – instrumentul este utilizat de o agentie guvernamentala pentru a deduce caracteristicile de personalitate ale diferitelor grupuri de solicitanti de azil care au fost initial persecutati pentru activitatile lor religioase online in tarile lor de origine.

Putem veni cu multe experimente diferite cu care sa ne jucam si sa testam Personality Insights. Pentru mine, este vorba mai mult despre implicatiile acestui instrument asupra drepturilor omului. Care sunt unele dintre cazurile reale de utilizare? Cum ne poate afecta acest instrument dreptul la munca? Confidentialitate? Libertatea de gandire? Ce ar trebui sa faca IBM pentru a evita riscurile potentialelor efecte negative?

Pentru a intelege unele dintre implicatiile drepturilor omului ale acestui instrument, am folosit Principiile directoare ale ONU pentru afaceri si drepturile omului (UNGP) ca indrumare pentru a intelege modul in care drepturile omului ale diferitelor grupuri vulnerabile ar putea fi afectate prin diferite cazuri de utilizare. In aceasta infografie, am incercat sa descriu pe scurt ce vreau sa spun prin UNGP si prin „Evaluarea impactului drepturilor omului”:

IBM sustine ca Personality Insights poate fi utilizat pentru marketing si achizitionarea clientilor, conexiuni personale (de ex. Intalniri, potrivire medic-pacient, asistenta pentru clienti) si pentru reluarea scrisului. Asta se adauga la aplicatii specifice precum „monitorizarea si prezicerea sanatatii mintale” si „monitorizarea elementelor radicale si necinstite prin intermediul retelelor sociale” (detectarea semnelor timpurii ale radicalizarii).

In timp ce citeam postari de blog IBM despre unele dintre cazurile de utilizare curente ale Personality Insights, cele doua aplicatii de mai jos mi-au atras atentia. Iata videoclipuri care explica serviciile. Am scris scurte rezumate alaturi de videoclipuri.

In opinia mea, pentru cazurile mentionate mai sus, cele mai evidente preocupari privind drepturile omului sunt asociate cu:

Dreptul la egalitate si libertatea de discriminare (articolul 2 din Declaratia universala a drepturilor omului)

Dreptul la o conditie justa si favorabila de munca si oportunitati egale de angajare (articolul 23 din DUDH; titlul VII al SUA din Legea drepturilor civile din 1964)

De ce este relevant acest extras din Declaratia Universala a Drepturilor Omului, s-ar putea sa va intrebati?

Engleza este a doua mea limba. Daca sunteti iranian – sau aveti prieteni iranieni – stiti ca uneori facem greseala de a renunta la articole (a, an, the) atunci cand vorbim si scriem in engleza. Uneori folosim si pronumele „el” si „ea” in mod interschimbabil, deoarece nu avem pronume de gen in farsi.

Diferitele persoane au obiceiuri de scris si de vorbire diferite. Aceste greseli oneste imi modifica scorul de personalitate? Daca una dintre companiile mentionate mai sus ar folosi transcrierea interviului sau scrisul meu pentru a evalua scorurile mele de personalitate pentru deciziile de angajare sau promovare a locurilor de munca, cum voi fi afectat in comparatie cu un vorbitor nativ de limba engleza-americana?

Intr-un proiect numit „Urmariti-va cuvintele” realizat de cohorta de asamblare Harvard / MIT 2019, cercetatorii au aratat cum gresitul de ortografie si utilizarea diferitelor spatii si pronume pot avea un impact neasteptat asupra rezultatelor sistemelor de procesare a limbajului natural bazate pe cloud. . Alte studii au analizat problema disparitatii rasiale in sistemele NLP intre tweet-urile engleze afro-americane si engleza americana mainstream. Cercetatorii au semnalat, de asemenea, problema prejudecatilor stereotipe si de gen in incorporarile de cuvinte, o tehnica pe care Personality Insights o foloseste foarte mult.

Pe scurt, acesti factori fac foarte dificila mentinerea „unei conditii de munca echitabile si favorabile” daca lucratorii vor fi supusi unei evaluari bazate pe instrumente precum Personality Insights.

Dar asta nu este tot. Exista mult mai multe cazuri in care drepturile omului ale lucratorilor ar putea fi limitate. Iata un alt exemplu de doua articole din Declaratia Universala a Drepturilor Omului pe care acest instrument ar putea sa le limiteze:

Dreptul la libertatea de opinie si de exprimare (articolul 19 din DUDH)

Dreptul la libertatea de asociere si adunare pasnica, dreptul de a se organiza si a negocia in mod colectiv (articolul 20 din DUDH; Declaratia OIM privind principiile si drepturile fundamentale la locul de munca)

Sa ne intoarcem la experimentul meu de postare pe blog. Asa cum ti-ai aminti, cu cateva modificari am reusit sa ma fac sa par ca sunt un candidat la munca mai de incredere si mai supus. Deci, daca stiu ca tweet-urile mele ar putea deveni un factor decisiv in angajarea mea, va avea acest lucru un efect ingrozitor asupra a ceea ce scriu si a modului in care scriu?

Daca, dintr-un motiv necunoscut (din cauza unei decizii de tip caseta neagra), caracteristica „autoritatii care provoaca” are scoruri mari, va ridica un steag rosu pentru directorii companiei?

In ultimii doi ani, muncitorii din domeniul tehnologiei si organizatiile muncitorilor au organizat mai multe proteste si plimbari pentru a condamna unele practici ale companiilor lor si a solicita mai multa transparenta. Palantir, Amazon, Uber sau orice alta companie vor folosi ceva de genul Personality Insights pentru a evalua scorurile „autoritatilor provocatoare” ale angajatilor lor pe baza comunicarilor lor prin e-mail, tweet-uri sau postari de pe forumurile publice? Cum va afecta acest lucru angajatii lor si dreptul contractantilor la libertatea de protest pasnic si organizare?

Iata un alt exemplu:

Dreptul la libertatea de a nu deduce confidentialitatea (articolul 12 din DUDH)

IBM sustine ca Personality Insights este apatrid, ceea ce inseamna ca „niciun continut (inclusiv orice date personale ale clientului) nu este stocat sau persistat in cadrul acestui serviciu cloud [Personality Insights]” Acesta este un lucru bun, in opinia mea. Insa ingrijorarea mea nu se refera doar la faptul daca IBM insasistocheaza sau nu datele, dar despre existenta dezvoltatorilor terti si a altor clienti IBM care utilizeaza API-ul Personality Insights pentru aplicatiile lor personalizate. Potrivit IBM, „Clientii sunt responsabili pentru asigurarea respectarii proprii a diferitelor legi si reglementari, inclusiv a Regulamentului general al Uniunii Europene privind protectia datelor. […] IBM nu ofera consiliere juridica, contabila sau de audit si nici nu declara sau garanteaza ca serviciile sau produsele sale vor asigura ca clientii respecta orice lege sau regulament. ” (sursa) Planul Lite IBM va permite sa utilizati Personality Insights pentru 1.000 de cereri API / luna fara costuri.

Deci, pe scurt, oricine, din orice motiv, poate folosi Personality Insights pentru a deduce personalitatea dvs. pe baza scrierilor dvs. publice, a comunicarilor prin e-mail sau a activitatilor din retelele sociale – totul fara a va informa chiar despre asta.

Ceea ce am scris mai sus este doar un exemplu al modului in care sistemele de cutii negre care in prezent prolifereaza – IBM Watson este, la urma urmei, doar unul dintre multe – pot avea consecinte neintentionate. Adevarat, nu ma indoiesc ca exista cazuri de utilizare valabile pentru acest instrument si pentru altii ca acesta. Dar mi se pare clar ca impacturile potentiale nu au fost pe deplin gandite: cum putem sti ca beneficiile unui astfel de instrument depasesc daunele potentiale pe care le-ar putea impune unora dintre cele mai vulnerabile populatii?

Daca sunteti un dezvoltator care incearca sa utilizeze orice servicii ML bazate pe cloud pentru aplicatia dvs. specifica, va indemn cu tarie sa intrati in documentatia de serviciu cu un ochi indreptat catre drepturile omului. Utilizati instrumentele internationale de baza ale drepturilor omului – care explica drepturile diferitelor grupuri protejate – ca instrument de ghidare si propuneti scenarii si modele contrafactual pentru a testa instrumentul inainte de al utiliza. Vedeti cat de des isi actualizeaza serviciile si documentele. Si ganditi-va intotdeauna la impacturile si implicatiile mai mari. (S-ar putea sa gasiti metodologiile utilizate in aceste doua postari pentru a fi utile: Gender and Racial Bias in Cloud NLP Sentiment API, Pierderea increderii in calitate: Evolutia nerostita a serviciilor de viziune pe computer).

Si, in sfarsit, pentru IBM in sine, am o singura intrebare ???????? ‍♀️.

Completati si eliberati public „Foaia de informatii” pe care angajatii dvs. din echipa de cercetare IBM l- au recomandat sa o faca : Fise de informatii: cresterea increderii in serviciile AI prin declaratiile de conformitate ale furnizorului.

Daca nu puteti inceta sa creati Cutii Negre, respectati cel putin recomandarea angajatilor dvs. de a lansa o „Foaie informativa”. Fii transparent si incearca sa oferi un exemplu de ceea ce poate merge bine cu invatarea automata, mai degraba decat ceea ce nu merge in prezent.