Joy Buolamwini: la informática y activista que consiguió frenar la tecnología de reconocimiento facial en las grandes empresas de tecnología
Por Amy Farley (@afarles)
Queremos iniciar el debate sobre el uso de la tecnlogía de reconocimiento facial en Uruguay, y por eso es necesario comenzar a poner en el ámbito de conocimiento algunas publicaciones que aportan para la generación de opinión y que han sido publicadas sólo en inglés. Con el único fin de aportar información, compartimos aquí nuestra traducción a español.
Artículo original: https://www.fastcompany.com/90525023/most-creative-people-2020-joy-buolamwini
Joy Buolamwini consiguió que Jeff Bezos diera marcha atrás.
En junio, Amazon anunció que suspendía el uso policial de su controvertido software de reconocimiento facial, llamado Rekognition, que había vendido a las fuerzas del orden durante años desafiando a los defensores de la privacidad. La medida supuso un notable retroceso para el famoso y testarudo CEO de Amazon. Y no fue el único. IBM se comprometió esa misma semana a dejar de desarrollar el reconocimiento facial por completo, y Microsoft se comprometió a no ofrecer su sistema a la policía hasta que se aprobara una normativa federal.
Estas decisiones se produjeron en medio de amplias protestas internacionales por el racismo sistémico, provocadas por la muerte de George Floyd a manos de la policía de Minneapolis. Pero las bases se habían sentado cuatro años antes, cuando Joy Buolamwini, que entonces era una estudiante de posgrado de 25 años en el Media Lab del MIT, empezó a investigar las disparidades raciales, de tipo de piel y de género que presentaban las tecnologías de reconocimiento facial disponibles en el mercado. Su investigación culminó en dos estudios pioneros, revisados por pares, publicados en 2018 y 2019, que revelaron cómo los sistemas de Amazon, IBM, Microsoft y otros eran incapaces de clasificar los rostros femeninos más oscuros con la misma precisión que los de los hombres blancos, rompiendo así el mito de la neutralidad de las máquinas.
En la actualidad, Buolamwini está impulsando un movimiento creciente para exponer las consecuencias sociales de la inteligencia artificial. A través de su organización sin fines de lucro de casi cuatro años, la Liga de Justicia Algorítmica (AJL, por sus siglas en inglés), ha testificado ante legisladores a nivel federal, estatal y local sobre los peligros del uso de las tecnologías de reconocimiento facial sin supervisión de cómo se crean o despliegan. Desde la muerte de George Floyd, ha pedido que se detenga por completo el uso policial de la vigilancia facial, y está proporcionando a los activistas recursos y herramientas para exigir la regulación. Muchas empresas, como Clearview AI, siguen vendiendo análisis faciales a la policía y a las agencias gubernamentales. Y muchos departamentos de policía están utilizando tecnologías de reconocimiento facial para identificar, en palabras del Departamento de Policía de Nueva York, a individuos que han cometido, están cometiendo o están a punto de cometer delitos. “Ya tenemos una aplicación de la ley impregnada de racismo sistémico”, afirma Buolamwini. “Lo último que necesitamos es que esta presunción de culpabilidad de la gente de color, de los negros, se confirme erróneamente a través de un algoritmo”. (No se trata de una hipótesis: la ACLU de Michigan presentó recientemente una denuncia contra el Departamento de Policía de Detroit en nombre de un hombre que fue detenido erróneamente por robo en una tienda basándose en un análisis de imagen digital incorrecto).
Para Buolamwini, la pausa de las grandes empresas tecnológicas en el desarrollo de esta tecnología no es suficiente. Cuando las protestas de Black Lives Matter (Las Vidas Negras Importan) tomaron fuerza durante el verano, utilizó su plataforma para pedir a las empresas tecnológicas que donaran al menos un millón de dólares cada una a organizaciones como Data for Black Lives y Black in AI, que promueven la justicia racial en el sector tecnológico. La AJL publicó un libro blanco que explora el concepto de una autoridad similar a la FDA para supervisar las tecnologías de reconocimiento facial. Y la organización sin fines de lucro, que ha recibido subvenciones en el pasado de las fundaciones Ford y MacArthur, acaba de recibir nuevos fondos de las fundaciones Sloane y Rockefeller para crear un conjunto de herramientas para ayudar a las personas a denunciar los sistemas de IA perjudiciales. “Realmente no hay salvaguardias que puedan garantizar que no se produzca un abuso de poder de estas herramientas”, afirma Buolamwini. Ahí es donde entra la AJL.
Buolamwini se animó a investigar el sesgo algorítmico cuando se puso una máscara blanca para codificar en el Media Lab del MIT. Estaba creando un caprichoso proyecto de realidad aumentada y la tecnología de visión por ordenador que utilizaba tenía problemas para detectar su rostro. Cuando se puso una máscara blanca que ocultaba por completo sus rasgos, el ordenador la reconoció por fin.
El problema era conocido. Cuando estudiaba en Georgia Tech, Buolamwini tuvo que “tomar prestada” la cara de su compañera de cuarto para enseñar a un robot a jugar al escondite. Más tarde, se encontró con robots en una empresa de Hong Kong que tenían problemas similares. En aquel momento, Buolamwini pensó que las empresas tecnológicas solucionarían pronto el problema. En el MIT se dio cuenta de que ni siquiera sabían que había un problema.
Para su tesis de maestría, comenzó a probar aplicaciones de análisis facial con fotos de parlamentarios de Europa y África. Aunque descubrió disparidades de género y raza, al principio dudó en hacer públicos los resultados. “No es fácil enfrentarse a algunas de las mayores empresas tecnológicas cuando sabes que pueden desplegar todos sus recursos contra ti. Sigo siendo muy consciente de que soy una joven negra en Estados Unidos. Y en el campo de la IA, las personas a las que pretendía evaluar tenían todos los hilos de la bolsa”, dice. Pero después de las elecciones de 2016, decidió que había demasiado en juego.
En 2018, convirtió su tesis en su artículo “Gender Shades”. En coautoría con Timnit Gebru (que ahora forma parte del Equipo de Inteligencia Artificial Ética de Google), el estudio mostraba que las tasas de error de los sistemas más utilizados, incluidos los de IBM y Microsoft, eran significativamente más altas para los rostros femeninos más oscuros que para los masculinos más claros, hasta un 34% en el caso de IBM. Un año después, Buolamwini y su compañera de investigación Deborah Raji, entonces becaria del MIT y hoy miembro del AI Now Institute, publicaron el estudio “Actionable Auditing”, que mostraba algunas mejoras en los algoritmos de las empresas de “Gender Shades”, y revelaba fallos preocupantes en Amazon Rekognition, que clasificaba erróneamente a las mujeres como hombres el 19% de las veces, y a las mujeres de piel más oscura como hombres el 31%.
Al día siguiente de recibir los hallazgos de “Gender Shades”, en 2018, IBM se comprometió a abordar el sesgo de la IA. El director científico de Microsoft, Eric Horvitz, dice: “Inmediatamente fue todo manos a la obra para nosotros”. Amazon, sin embargo, respondió a “Actionable Auditing” tratando de desacreditar el estudio, lo que provocó que más de 70 investigadores de IA publicaran una carta el pasado mes de abril apoyando la investigación y pidiendo a la compañía que dejara de vender el software a las fuerzas del orden.
Con estos estudios, Buolamwini ayudó esencialmente a fundar un nuevo campo de investigación académica. “Fue la primera persona que se dio cuenta de que este problema existía, que habló de él y que realizó un trabajo académico al respecto hasta que los poderes fácticos se dieron cuenta”, dice Kade Crockford, director del Programa de Tecnología para la Libertad de la ACLU de Massachusetts, que trabajó con Buolamwini para defender la reciente prohibición de Boston de utilizar el reconocimiento facial para la vigilancia. “Antes de la investigación de Joy, la gente decía con cara de circunstancias: ‘Los algoritmos no pueden ser racistas’”. A finales de 2019, el Instituto Nacional de Estándares y Tecnología del Departamento de Comercio completó su mayor auditoría sobre el sesgo algorítmico en la tecnología de reconocimiento facial disponible en el mercado. Probó los algoritmos de casi 100 empresas y encontró tasas de falsos positivos para la coincidencia uno a uno de rostros asiáticos y afroamericanos que eran entre 10 y 100 veces más altas que las de los rostros caucásicos.
La investigación de Buolamwini habla por sí misma. Pero al prestar su propia voz a la causa, le ha dado más urgencia. Es consciente del poder de su historia personal: la de una becaria de Rhodes, becaria Fulbright y consumada informática, obligada a llevar una máscara blanca en blanco para hacer su trabajo. De hecho, las imágenes de ella con la máscara aparecen en todas partes, desde su charla Ted de 2016, en la que presentó la AJL (ya ha sido vista 1,3 millones de veces), hasta el nuevo documental Coded Bias, que traza la evolución de Buolamwini de investigadora del MIT a activista digital.
“Es casi un cliché en el trabajo de defensa que la gente no recuerda necesariamente lo que dices, pero siempre recuerdan cómo les has hecho sentir”, dice Crockford. “Creo que Joy entiende esto instintivamente. Cuando habla de su auditoría de estos algoritmos, siempre empieza contando la historia de cómo descubrió que había un problema”. Crockford describe una reciente reunión que tuvo la ACLU con un funcionario de las fuerzas del orden de Massachusetts para pedirle apoyo para una moratoria estatal sobre el uso gubernamental de la tecnología de reconocimiento facial. Según Crockford, las primeras palabras que salieron de la boca del funcionario fueron: “Acabo de asistir a una charla de una mujer increíble que dijo que esta tecnología no podía ni siquiera ver su cara y que tenía que ponerse una máscara blanca”. El funcionario firmó.
Raji, que fue la autora principal del informe “Actionable Auditing”, atribuye a Buolamwini el mérito de haber encontrado la forma de trasladar la investigación académica a las masas. “En la comunidad del aprendizaje automático, incluso cuando los investigadores tienen hallazgos que son relevantes para la política o el público, puede ser difícil para ellos hablar con una audiencia más amplia”, dice. Destaca la atención que Buolamwini puso en la elaboración de las diapositivas de su informe de 2019 y las potentes imágenes que utilizó para ilustrar “Matices de género”. “Incluso el lenguaje que utiliza -términos como conjuntos de datos de “hombres pálidos” o la “mayoría submuestreada”- es realmente poético y está diseñado intencionalmente de esa manera”, dice Raji.
Cuando Buolamwini testificó ante el Comité de Supervisión de la Cámara de Representantes la pasada primavera, habló no solo de los problemas integrados en los algoritmos, sino de las personas y comunidades que se ven perjudicadas por ellos, como un estudiante universitario musulmán que fue identificado erróneamente como sospechoso de terrorismo y un grupo de inquilinos de Brooklyn cuyo propietario intentó instalar un sistema de entrada por reconocimiento facial para sus edificios de alquiler. Su testimonio culminó con un intercambio con la congresista Alexandria Ocasio-Cortez, en el que se estableció sucintamente la conexión entre el sesgo algorítmico y la desigualdad en el sistema de justicia penal. El clip de su conversación se hizo rápidamente viral. “Joy tiene la rara habilidad de articular no solo la ciencia, sino por qué es importante”, dice la directora de Coded Bias, Shalini Kantayya.
Buolamwini llama aún más la atención sobre las trampas de la IA a través de piezas habladas. Su video de 2018, “AI, Ain’t I a Woman?”, destaca a mujeres negras icónicas, desde Sojourner Truth hasta Michelle Obama, que son clasificadas erróneamente por la IA. La obra tiene más de 50.000 visitas en YouTube y formó parte de la exposición AI: More Than Human que se estrenó en el Barbican Centre de Londres el pasado abril. Cuando el Panel Global de Tecnología de la UE quiso plantear a los ministros de defensa el peligro de utilizar la tecnología de reconocimiento de imágenes para guiar armas autónomas letales, en 2019, les reprodujo el vídeo. “Crear arte hace que la conversación se desarrolle de una manera que quizá no se consiga con una charla de una hora o un trabajo de investigación”, dice Buolamwini.
Ahora está ampliando su alcance. La AJL, que hasta ahora había funcionado como una coalición más informal de investigadores y defensores, ha contratado recientemente a su primera directora de políticas y asociaciones, Aaina Agarwal. Y la organización está poniendo en marcha la que quizá sea su iniciativa más ambiciosa hasta la fecha: el proyecto Algorithmic Vulnerability Bounty, un conjunto de herramientas que ayudarán a las personas a denunciar los sesgos y los daños causados por la IA, inspirado en el tipo de programas de recompensas por errores que se utilizan para encontrar fallos de seguridad en el software. “Queremos minimizar los daños de estos sistemas”, dice la profesora del MIT Sasha Costanza-Chock, que trabaja como investigadora principal en el AJL. “Pero queremos que ese trabajo lo dirijan personas y organizaciones comunitarias que representen a personas [que han] sido históricamente perjudicadas por esos sistemas”.
“Tenemos voz y elección en el tipo de futuro que tenemos”, dice Buolamwini. Y cuando se trata de las injusticias de la IA, su voz resuena.
Una versión de este artículo apareció en el número de septiembre de 2020 de la revista Fast Company.
Podés leer a Joy acá: https://medium.com/@Joy.Buolamwini
