Estación 2 · extrae Cajón B
Sesgos
B1 a B8 · SIC 002: calidad del dato
Distinguir un error suelto de un patrón que siempre le cae al mismo grupo.
Dilema
Un tablero marca más alertas en un barrio que ya tenía más patrullaje. El jefe dice: el modelo confirmó lo que ya sabíamos. ¿Es evidencia o es un espejo?
Prohibido decir el algoritmo es racista sin nombrar el patrón y los datos. Se habla con causa.
Histórico y representación
Más controles previos, más registros, más señales. Quien no está en las bases desaparece o se lee como anomalía. Un modelo entrenado en otra geografía o en otro grupo no representa a quien decide ahora.
Ejemplo
Más operativos en un barrio → más denuncias registradas → el modelo “predice” más riesgo allí. En paralelo, un detector de acento entrenado en noticias de Bogotá falla con habla del Caribe. Dos caras del mismo cajón: el pasado y quien nunca estuvo en la muestra.
Medición y proxy
Número de cruces con la autoridad no es peligro. Código postal, tipo de visa, idioma o red de contactos pueden reconstruir nacionalidad o clase. Quitar la casilla no basta.
Ejemplo
Un scoring de arriendo usa “estabilidad de dirección” y “pagos con tarjeta”. Quien arrienda informal o cobra en efectivo parece “inestable”. No se preguntó la clase social; el proxy la reconstruyó.
Diseño y automatización
Si el KPI es más localizaciones, el tablero premia más vigilancia. Si el analista deja de abrir el expediente porque lo dijo el sistema, hay sesgo de automatización.
Ejemplo
Una aseguradora maximiza “reclamaciones cerradas en 48 h”. El modelo aprende a negar rápido. Los analistas dejan de leer adjuntos. El daño no es un martes raro: es la meta más el clic automático.
Qué exigir
Errores por grupo. Búsqueda de proxies. Model Card con usos no previstos. Razones locales. Comparar falsos negativos del grupo vulnerable. Un modelo ciego a un grupo es dato incompleto a escala.
Ejemplo
Pida una tabla: tasa de falso positivo en zona rural vs. urbana, y en jornada nocturna vs. diurna. Si “no tenemos esa corte”, el 92 % no está auditado. Eso es evidencia, no un insulto al modelo.
Pregunta 1 / 6
Aprendizaje continuo · puedes seguir aunque te equivoques