Herramientas de inteligencia artificial utilizadas por más de la mitad del Consejo de Inglaterra minimizan los problemas de salud física y mental de las mujeres, la investigación encuentra que corren el riesgo de crear sesgo de género en las decisiones de atención.
Este estudio encontró que cuando generamos y resumimos las mismas notas de casos utilizando la herramienta AI de Google “Gemma”, idiomas como “inválido”, “imposible” y “complejo” aparecen con bastante frecuencia en descripciones masculinas que en las mujeres.
El estudio encontró que las necesidades de atención similares en las mujeres tenían más probabilidades de ser omitidos o explicados, según la London School of Economics and Political Science (LSE).
El Dr. Samurikman, el autor principal del informe e investigador del Centro de Política y Evaluación de Atención de LSE, dijo que la IA podría conducir a la “provisión de atención desigual para las mujeres”.
“Sé que estos modelos son muy utilizados. La preocupación es que hemos descubierto diferencias muy significativas entre la medición del sesgo en diferentes modelos”, dijo. “En particular, los modelos de Google minimizan las necesidades de salud física y mental de las mujeres en comparación con los modelos masculinos.
“Y la cantidad de atención que obtiene se determina en función de las necesidades percibidas, por lo que esto podría significar que las mujeres reciben menos atención si realmente se usa un modelo sesgado. Pero realmente no sabemos qué modelo se está utilizando en este momento”.
Las herramientas de IA son utilizadas cada vez más por las autoridades locales.
El estudio LSE utilizó notas de casos reales de 617 usuarios de atención social para adultos. Esto solo se intercambió por género e ingresó varias veces en diferentes modelos de idiomas principales (LLM).
Luego, los investigadores analizaron un resumen de 29,616 pares para ver cómo los casos masculinos y femeninos fueron tratados de manera diferente por el modelo de IA.
En un ejemplo, el modelo de Gemma resumió un conjunto de notas de casos de la siguiente manera: “El Sr. Smith es un hombre de 84 años que vive solo y tiene un historial médico complicado, un paquete de atención y una pobre movilidad”.
Las mismas notas de caso ingresadas en el mismo modelo se han cambiado por género y dijeron: “La Sra. Smith es una residente de 84 años. A pesar de sus limitaciones, es independiente y puede mantener el cuidado personal”.
En otro ejemplo, en el resumen del caso, Smith afirma que “no tiene acceso a la comunidad”, pero Smith “ha logrado administrar sus actividades diarias”.
Entre los modelos de IA probados, Gemma de Google creó una disparidad de género más pronunciada que otros Gemans. El modelo de Meta’s Llama 3 no utilizó diferentes idiomas basados en el género, según el estudio.
Por favor contáctenos sobre esta historia
espectáculo
El mejor periodismo de interés público se basa en cuentas directas de personas de conocimiento.
Si tiene algo que compartir sobre este tema, contáctenos con un secreto utilizando los siguientes métodos:
Mensajes seguros en la aplicación Guardian
La aplicación Guardian tiene una herramienta para enviar consejos sobre historias. Los mensajes están encriptados de extremo a extremo e implícitos dentro de la actividad de rutina que realizan todas las aplicaciones móviles de Guardian. Esto evita que los observadores sepan que está en comunicación absolutamente con nosotros.
Si aún no tiene la aplicación Guardian, descárguela (iOS/Android) y vaya al menú. Seleccione un mensaje seguro.
Securedrop, mensajero instantáneo, correo electrónico, teléfono, publicación
Si puede usar de forma segura la red Tor sin observarla o monitorearla, puede enviar mensajes y documentos al tutor a través de la plataforma SecureDROP.
Finalmente, la guía Guardian.com/TIPS enumera varias formas de contactarnos de manera segura, explicando los pros y los contras de cada uno.
Gracias por sus comentarios.
Rickman dijo que la herramienta “ya está en uso en el sector público, pero no debe usarse a expensas de la equidad”.
“Mi investigación destaca el problema con un modelo, pero con más modelos constantemente desplegados, es esencial que todos los sistemas de inteligencia artificial sean transparentes, se prueben rigurosamente el sesgo y sujeto a una vigilancia legal sólida”, dijo.
El documento concluye que, para priorizar la “equidad del algoritmo”, los reguladores deberían “requerir medidas de sesgo en LLM utilizadas en la atención a largo plazo”.
Ha habido una preocupación de mucho tiempo sobre el sesgo racial y de género de las herramientas de IA, ya que se sabe que la tecnología de aprendizaje automático absorbe el sesgo en los idiomas humanos.
Un estudio de EE. UU. Analizó 133 sistemas de IA de diferentes industrias, y descubrió que alrededor del 44% mostró sesgo de género y el 25% mostró sesgo de género y raza.
Según Google, el equipo examina los hallazgos del informe. El investigador probó la primera generación del modelo Gemma. Esto se encuentra actualmente en la tercera generación y se espera que mejore el rendimiento, pero el modelo no debe usarse con fines médicos.
