Riconoscimento facciale. Stop da Amazon e IBM

di Roberto Paura – Italian Institute for the Future

© Marco Merlini / Cgil Roma 19 gennaio 2018 Cgil Nazionale Assemblea Programmatica di Agenquadri ‘Cambia il futuro’ Nella foto Roberto Paura

Addetti ai lavori e gruppi di attivisti ed esperti di privacy da tempo chiedono di regolamentare in modo stringente la vertiginosa ascesa del riconoscimento facciale. Sull’onda del drammatico omicidio di George Floyd negli Stati Uniti, il tema è iniziato a diventare di pubblico interesse

Quando sentiamo parlare di “riconoscimento facciale” (facial recognition), a quanti di noi sono cresciuti a pane e fantascienza viene probabilmente in mente l’iconica scena di Minority Report – un film decisamente preveggente, che miscelava in modo sapiente le visioni del futuro secondo Philip K. Dick – in cui il protagonista, John Anderton, camminando per strada, è bombardato da pubblicità personalizzate che tradiscono la sua identità. Queste pubblicità si basano su una tecnologia avveniristica all’epoca del film (2002), che oggi è parte della nostra quotidianità: il riconoscimento facciale, ossia la possibilità, da parte di un algoritmo, di riconoscere gli schemi (pattern) dei volti di ciascuno di noi e associarli alla nostra identità. Al momento, nessuno di noi si ritrova come John Anderton a camminare per strada venendo costantemente riconosciuto da tecnologie informatiche, ma nelle sedi di alcune aziende avveniristiche e ultra-securitarie in Cina come negli Stati Uniti è possibile che l’accesso via venga concesso solo previo riconoscimento facciale da parte di una telecamera. Su Facebook, gli algoritmi di facial recognition ci aiutano a taggare i nostri amici alle feste e ci segnalano se è stata caricata una foto che ci ritrae. Le telecamere di sicurezza che hanno invaso le nostre città producono ogni giorno moltissime immagini del nostro volto; l’Interpol, attraverso il suo Face Recognition System (IRFS), le può confrontare con un database di persone ricercate o con precedenti penali che contiene foto e profili da 160 paesi del mondo. Dalla fine del 2016, quando il sistema è entrato in funzione, l’Interpol ci assicura che “più di 650 criminali, fuggitivi, sospetti, o persone scomparse sono state identificate”. Confrontando questa dichiarazione con la pubblicità della Pre-Crimine in Minority Report, forse dobbiamo concludere che non siamo più nel mondo della fantascienza.

Esattamente come la Pre-Crimine del film (che univa alla tecnologia di riconoscimento facciale la capacità di prevedere il futuro di precog, persone dotate di poteri psi), anche questi algoritmi sbagliano. Oggi sappiamo che soffrono di bias legati alla programmazione. Per addestrare un algoritmo di riconoscimento facciale, i programmatori devono dargli in pasto migliaia di foto di volti di persone. Spesso partono da foto di persone che lavorano nell’azienda di programmazione, amici e familiari per evitare problemi di privacy, insieme a foto di volti pubblici. Ne deriva che, molto frequentemente, l’algoritmo viene addestrato quasi esclusivamente con volti di persone bianche e non è in grado di riconoscere una persona nera. A volte, ciò provoca fraintendimenti tra l’imbarazzante e il razzista, come quando alcuni afroamericani si sono visiti taggati come “gorilla” dall’algoritmo di Google Photos. Se la tecnologia di riconoscimento facciale viene usata da operatori di polizia, spesso nelle città americane si scopre che i database dei criminali, sospettati e ricercati sono in maggioranza neri, a causa delle condizioni socio-economiche più neglette in cui spesso versano rispetto agli americani bianchi. L’algoritmo decide allora che i neri sono più pericolosi dei bianchi e, di fronte a due foto di persone di diversa etnia, conclude che il volto di un afroamericano ha maggiori probabilità di delinquere rispetto a un bianco. 

Tutto ciò è ben noto agli addetti ai lavori e da tempo gruppi di attivisti ed esperti di privacy chiedono di regolamentare in modo stringente la vertiginosa ascesa del riconoscimento facciale. Ma è solo in questi ultimi giorni che, sull’onda del drammatico omicidio del cittadino George Floyd negli Stati Uniti da parte della polizia di Minneapolis a causa del colore della sua pelle, il tema è iniziato a diventare di pubblico interesse. In una lettera al Congresso lo scorso 8 giugno, il CEO di IBM Arvind Krishna ha annunciato che non offrirà più prodotti e sistemi di riconoscimento facciale né lavorerà più allo sviluppo di questo tipo di tecnologia, in considerazione delle crescenti preoccupazioni per il loro uso in programmi di sorveglianza di massa, profilazione razziale e violazioni di diritti e libertà umane fondamentali. Dopo questo annuncio, è arrivato due giorni dopo quello – decisamente più atteso – di Amazon, che, a differenza di IBM, poco impegnata in questo settore, ha invece fatto grandi affari venendo il suo sistema Rekognition alle forze di polizia di molte città americane. Amazon ha annunciato una moratoria di un anno per le vendite e lo sviluppo di Rekognition per consentire al governo americano di introdurre una regolamentazione per l’uso di tecnologie di riconoscimento facciale. 

La scelta di Amazon non era affatto scontata. In passato, Amazon era stata criticata per la sua collaborazione con la CIA in contratti classificati per lo sviluppo di server cloud del valore di otre 600 milioni di dollari; ma, a differenza di Google, costretta a ritirare la sua collaborazione con la Difesa americana in seguito alle proteste dei suoi dipendenti, Jeff Bezos non aveva fatto marcia indietro e aveva confermato la sua volontà di collaborare con l’esercito nelle tecnologie dual-use, quelle tecnologie cioè che possono essere usate tanto per scopi civili e commerciali che per impieghi militari, come appunto il riconoscimento facciale, su cui l’interesse militare è comprensibilmente altissimo. La moratoria di Amazon, pur più blanda della scelta di IBM, è la spia di un mutato atteggiamento dei giganti tecnologici di fronte all’ondata di proteste antirazziste negli USA (anche se ufficialmente l’azienda di Bezos non ha collegato la scelta con queste vicende). Al momento la principale azienda che fornisce sistemi di facial recognition alle forze di polizia americana è Clearview AI, che non sembra voler seguire IBM e Amazon, nonostante lo scandalo in cui si è scoperto che per costruire il proprio database di foto (oltre 3 miliardi) l’azienda abbia saccheggiato i principali social network, come Facebook e Instagram. In un editoriale sul Guardian John Naughton, docente di Public Understanding of Technology alla Open University, afferma che dovremmo considerare il riconoscimento facciale come facciamo col plutonio: di per sé è una sostanza innocua, ma se usata in un certo modo può distruggere una città di diversi milioni di abitanti. Naughton sostiene che, così come nel Regno Unito esiste un organo indipendente (il National Institute for Health and Care Excellence) che stabilisce quali medicinali, tecniche e tecnologie debbano essere rese disponibili dal sistema sanitario inglese, analogamente c’è bisogno di un organo indipendente che decida se tecnologie come il riconoscimento facciale debbano essere usate e con quali limiti. Forse, sull’onda di quanto sta accadendo, anche l’Unione europea farà marcia indietro: in febbraio, dopo che erano circolate alcune bozze del Libro bianco sull’intelligenza artificiale in cui veniva chiesta una moratoria da tre a cinque anni sull’uso del riconoscimento facciale nella UE, il documento finale si limitava a chiedere agli Stati membri di introdurre regolamentazioni. Non è la prima volta che le lobby – in questo caso tecnologiche – riescono a convincere la UE a cambiare documenti politici e proposte di legge (dopotutto, è il loro lavoro). Ma ora che proprio le aziende tecnologiche ci stanno ripensando, forse l’Europa potrebbe approfittarne per evitare di arrivare – come spesso accade – buona ultima nel dibattito sulla governance dell’accelerazione tecnologica.