El algoritmo de Twitter que se encarga de la vista previa de las fotos es racista

El algoritmo de Twitter que se encarga de la vista previa de las fotos es racista

La red neuronal que Twitter utiliza para generar vistas previas de fotos es una bestia misteriosa. Cuando debutó la herramienta de recorte inteligente en 2018, Twitter dijo que el algoritmo determina la parte más «sobresaliente» de la imagen, es decir, lo que sus ojos se dibujan primero, para utilizar como una imagen de vista previa, pero lo que eso implica exactamente ha sido objeto de especulaciones frecuentes.

Las caras son una respuesta obvia, por supuesto, pero ¿qué pasa con las caras sonrientes frente a las caras no sonrientes? ¿O caras tenuemente iluminadas frentes brillantes? He visto un montón de experimentos informales en mi línea de tiempo donde la gente trata de averiguar la salsa secreta de Twitter, algunos incluso han aprovechado el algoritmo en un sistema involuntario para entregar líneas de punzonado, pero el último experimento viral expone un problema muy real: la herramienta de recorte automático de Twitter parece favorecer las caras blancas sobre las caras negras con demasiada frecuencia.

Varios usuarios de Twitter demostraron lo mismo durante el fin de semana con imágenes que contienen tanto la cara de una persona blanca como la cara de una persona negra. Las caras blancas se mostraban mucho más como vistas previas, incluso cuando las imágenes se controlaban para el tamaño, el color de fondo y otras variables que posiblemente podrían estar influyendo en el algoritmo. Un hilo particularmente viral de Twitter utilizó una foto del expresidente Barack Obama y el senador Mitch McConnell (ya objeto de mucha mala prensa por su insensible respuesta a la muerte del juez Ruth Bader Ginsburg) como ejemplo. Cuando los dos se mostraron juntos en la misma imagen, el algoritmo de Twitter mostró una vista previa de esa sonrisa de tortuga tonta una y otra vez, diciendo efectivamente que McConnell era la parte más «saliente» de la imagen.

(Haga clic en el tweet incrustado a continuación y haga clic en su cara para ver lo que quiero decir).

La tendencia comenzó después de que un usuario trató de tuitear sobre un problema con el algoritmo de detección facial de Zoom el viernes. Los sistemas de Zoom no estaban detectando la cabeza de su colega negro, y cuando subió capturas de pantalla del problema a Twitter, encontró que la herramienta de recorte automático de Twitter también se despropoba de su cara en lugar de la de su compañero de trabajo en imágenes de vista previa.

Este número fue aparentemente noticia para Twitter también. En una respuesta al hilo Zoom, el director de diseño Dantley Davis llevó a cabo algunos experimentos informales propios el viernes con resultados mixtos, tuiteando:«Estoy tan irritado por esto como todos los demás». El director de tecnología de la plataforma, Parag Agrawal, también abordó el problema a través de tweet, añadiendo que, mientras que el algoritmo de Twitter fue probado, todavía necesitaba «mejora continua» y estaba «ansioso por aprender» de las rigurosas pruebas de los usuarios.

«Nuestro equipo hizo pruebas de sesgo antes de enviar el modelo y no encontró evidencia de sesgo racial o de género en nuestras pruebas. Pero de estos ejemplos se desprende claramente que tenemos más análisis que hacer», dijo la portavoz de Twitter Liz Kelley a Gizmodo. «Abriremos nuestro trabajo de código fuente para que otros puedan revisar y replicar».

Cuando se le contactó por correo electrónico, no pudo comentar una línea de tiempo para la revisión planeada de Twitter. El domingo, Kelley también tuiteó sobre el tema, agradeciendo a los usuarios que lo llamaron la atención de Twitter.

Vinay Prabhu, un científico jefe de la Universidad Carnegie Mellon, también llevó a cabo un análisis independiente de las tendencias de recorte automático de Twitter y tuiteó sus hallazgos el domingo. Puedes leer más sobre su metodología aquí, pero básicamente probó la teoría tuiteando una serie de imágenes de la Chicago Faces Database, un repositorio público de fotos estandarizadas de rostros masculinos y femeninos, que fueron controlados por varios factores, incluyendo la posición de la cara, la iluminación y la expresión.

Sorprendentemente, el experimento mostró que el algoritmo de Twitter favoreció ligeramente la piel más oscura en sus vistas previas, recortando a caras negras en 52 de las 92 imágenes que publicó. Por supuesto, dado el gran volumen de evidencia en sentido contrario que se encuentra a través de experimentos más informales, Twitter obviamente todavía tiene algunos ajustes que ver con su herramienta de recorte automático. Sin embargo, los hallazgos de Prabhu deberían resultar útiles para ayudar al equipo de Twitter a aislar el problema.

Cabe señalar que cuando se trata de aprendizaje automático e inteligencia artificial, los algoritmos predictivos no tienen que ser diseñados explícitamente para ser racistas para ser racistas. La tecnología de reconocimiento facial tiene una larga y frustrante historia de sesgo racial inesperado, y el software de reconocimiento facial comercial ha demostrado repetidamente que es menos preciso en personas con piel más oscura. Eso es porque ningún sistema existe en el vacío. Intencional o involuntariamente, la tecnología refleja los sesgos de quien la construye, tanto que los expertos tienen un término para el fenómeno: sesgo algorítmico.

Precisamente por eso es necesario seguir investigando antes de que las instituciones que se ocupan de cuestiones de derechos civiles a diario la incorporen a su arsenal. Las montañas de evidencia muestran que discrimina desproporcionadamente a las personas de color. Por suerte, el recorte automático sesgado de Twitter es un problema bastante inocuo (que todavía debe abordarse rápidamente, no me malinterpretes). Lo que tiene defensores de los derechos civiles justamente preocupados es cuando un policía confía en una IA para rastrear a un sospechoso o un hospital utiliza un sistema automatizado para evaluar a los pacientes,es cuando el sesgo algorítmico podría resultar potencialmente en una decisión de vida o muerte.