Los sesgos algorítmicos surgen cuando los sistemas que operan con datos y reglas automatizadas terminan replicando o intensificando formas de discriminación ya presentes. Al aplicarse estos mecanismos en decisiones públicas —incluidas la justicia penal, la salud, el empleo, los servicios sociales o la vigilancia— sus efectos pueden incidir en derechos, acceso a recursos y en la confianza dentro de la democracia. A continuación se expone qué implican, de qué manera se originan, casos documentados, consecuencias específicas y estrategias para reducirlos.
Qué son los sesgos algorítmicos
Un sesgo algorítmico aparece cuando un sistema o modelo automatizado genera de manera constante resultados diferentes entre diversos colectivos sociales (como sexo, raza, nivel socioeconómico, edad o zona de residencia). Dichas disparidades pueden originarse por múltiples factores:
- Datos históricos sesgados: registros administrativos que reflejan decisiones humanas previas discriminatorias.
- Variables proxy: uso de indicadores que, sin intención, actúan como sustitutos de características protegidas (por ejemplo, zona postal como proxy de raza).
- Falta de representatividad: muestras de entrenamiento que no incluyen suficientes casos de grupos minoritarios.
- Objetivos mal definidos: optimizar un indicador (costes, precisión global) sin medir equidad entre grupos.
- Retroalimentación y bucles: despliegue del sistema que altera el comportamiento y genera más datos sesgados, reforzando la desigualdad.
Muestras y situaciones registradas
- Sistemas de evaluación de riesgo penal: investigaciones periodísticas y académicas han mostrado que herramientas utilizadas para predecir riesgo de reincidencia tendían a clasificar a personas negras con mayor probabilidad como de alto riesgo y a personas blancas como de bajo riesgo, aun cuando la tasa real de reincidencia era similar, lo que implica más medidas restrictivas sobre ciertos grupos.
- Herramientas de selección de personal: empresas tecnológicas han descartado algoritmos de selección tras descubrir que penalizaban currículos con indicios femeninos, como participación en asociaciones de mujeres o graduación en universidades mayoritariamente femeninas.
- Reconocimiento facial y vigilancia: estudios independientes mostraron mayores tasas de error en el reconocimiento de rostros de mujeres y personas de piel más oscura. En varios países se registraron detenciones erróneas atribuidas a coincidencias incorrectas, lo que llevó a moratorias y prohibiciones locales sobre su uso por parte de fuerzas públicas.
- Algoritmos sanitarios: análisis han demostrado que algunos modelos que priorizan pacientes para programas de atención intensiva subestimaban las necesidades de pacientes de minorías cuando el algoritmo usaba gasto sanitario pasado como proxy de necesidad, desplazando recursos lejos de quienes más los requerían.
Efectos y amenazas concretas en la toma de decisiones públicas
- Discriminación institucionalizada: decisiones automatizadas pueden normalizar trato desigual en acceso a justicia, salud o empleo.
- Pérdida de derechos y libertades: falsos positivos en vigilancia o riesgo penal pueden traducirse en detenciones, restricciones o estigmatización indebida.
- Desigualdad en asignación de recursos: sesgos en modelos que asignan servicios sociales o sanitarios pueden privar a comunidades vulnerables de apoyos esenciales.
- Erosión de la confianza pública: opacidad y errores sistemáticos minan la legitimidad de instituciones que delegan decisiones a algoritmos.
- Retroalimentación negativa: más vigilancia o sanciones en un barrio generan más datos de delitos, lo que refuerza el modelo y perpetúa la sobreexposición de esa comunidad.
- Costes económicos y legales: demandas, compensaciones y revisiones de políticas suponen gastos públicos y retrasos en servicios.
Cómo se detectan y miden los sesgos
La detección requiere un análisis separado por grupos pertinentes y la incorporación de métricas de equidad, junto con evaluaciones generales de desempeño. Entre las prácticas recomendadas se encuentran:
- Desagregación de resultados: analizar y contrastar las tasas de falsos positivos, falsos negativos, así como la sensibilidad y la especificidad entre distintos grupos.
- Pruebas de impacto: generar simulaciones que permitan observar cómo se redistribuyen beneficios y posibles cargas antes y después de la implementación.
- Auditorías independientes: someter a evaluación externa el código, los datos y las decisiones para detectar posibles proxies discriminatorios y fallos metodológicos.
- Evaluaciones de robustez: aplicar pruebas mediante datos sintéticos y muestras provenientes de poblaciones con baja representación.
Acciones destinadas a reducir los riesgos
- Transparencia y documentación: publicar descripción de datos, objetivos, limitaciones y métricas de equidad; registrar decisiones de diseño.
- Evaluación de impacto algorítmico: exigir estudios formales antes del despliegue en ámbitos sensibles que midan riesgos y planes de mitigación.
- Participación y gobernanza: involucrar a comunidades afectadas, organismos de derechos humanos y expertos multidisciplinares en el diseño y supervisión.
- Datos representativos y limpieza: mejorar la calidad y diversidad de los datos, y eliminar proxies que reproduzcan discriminación.
- Supervisión humana significativa: mantener intervención humana en decisiones finales críticas y capacitar a los responsables para detectar errores.
- Auditorías periódicas: controles externos y continuos para detectar degradación del modelo y efectos no previstos.
- Límites de uso: prohibir o restringir algoritmos en decisiones irreversibles o de alto impacto sin garantías sólidas de equidad.
Recomendaciones para políticas públicas
- Marco regulatorio claro: definir con precisión obligaciones de transparencia, establecer derechos de explicación y fijar normas de responsabilidad para las entidades públicas que recurran al uso de algoritmos.
- Protocolos de prueba antes del despliegue: realizar pilotos supervisados junto con evaluaciones que valoren impactos sociales y de derechos humanos.
- Creación de unidades de auditoría pública: conformar equipos técnicos independientes encargados de examinar modelos, datos y decisiones, y de divulgar resultados comprensibles para la población.
- Acceso a recursos y reparación: habilitar mecanismos que permitan a las personas afectadas pedir una revisión humana y obtener medidas de reparación cuando exista un perjuicio.
- Capacitación y alfabetización digital: preparar a funcionarios y ciudadanía para reconocer las limitaciones y riesgos asociados a la inteligencia artificial y al aprendizaje automático.
Los sesgos algorítmicos presentes en decisiones públicas no se reducen a simples fallos técnicos, sino que también expresan y pueden intensificar desigualdades sociales existentes. Su riesgo proviene de la escala en la que operan y de la apariencia de neutralidad que da respaldo a decisiones que, en realidad, podrían reproducir prejuicios históricos o errores en los modelos. Para enfrentarlos de manera eficaz, se requiere una combinación de salvaguardas técnicas, como datos más sólidos, auditorías y métricas de equidad, junto con marcos éticos y legales que demanden transparencia, participación ciudadana y responsabilidad. Solo mediante este equilibrio la automatización puede actuar en favor del interés público sin vulnerar derechos ni ampliar brechas sociales, manteniendo a las personas y la rendición de cuentas como eje de la toma de decisiones.