Todo modelo de originación se entrena con una muestra sesgada. Para aprender quién paga, el modelo necesita resultados, y una institución solo observa resultados de los solicitantes que aprobó. A los que rechazó nunca se les dio el crédito, así que nunca tuvieron la oportunidad de pagar o de caer en mora. Los datos de entrenamiento son lo que dejó pasar la política de crédito anterior.
Eso no importaría si el modelo nuevo solo se aplicara al mismo tipo de solicitante. Pero no es así. Un score evalúa a todos los que postulan, incluidos los perfiles que la política anterior filtró. Y las decisiones que mueven el negocio se toman justamente ahí: alrededor del punto de corte y en los segmentos que se evalúa aprobar por primera vez.
La inferencia de rechazados (reject inference) es el conjunto de técnicas que intenta corregir este sesgo de selección estimando cómo se habrían comportado los solicitantes rechazados y sumándolos a los datos de entrenamiento.
Por qué ignorar a los rechazados es riesgoso
Los rechazos no son aleatorios. A los solicitantes se los rechazó por motivos que la política anterior consideraba ligados al riesgo: poca historia en el bureau, carga financiera alta, poca antigüedad laboral, ciertos canales. Si esos motivos eran en parte correctos, la muestra de aprobados subrepresenta la parte más riesgosa de los postulantes, y un modelo entrenado con ella tiende a ser demasiado optimista justo donde se expandirían las aprobaciones.
El problema pasa fácilmente inadvertido porque no aparece en la validación. Si el conjunto de prueba también está formado por aprobados, el modelo se evalúa sobre la misma población filtrada con la que aprendió. El Gini y el KS pueden verse excelentes aunque el modelo nunca haya visto a las personas que se le pedirá aprobar. Es una razón más para que elegir el punto de corte reciba tanto cuidado como construir el score.
Los principales métodos de inferencia de rechazados
Ignorar a los rechazados. Entrenar solo con aprobados. Es simple y transparente, y si la política anterior fue casi aleatoria en la zona que importa, puede bastar. Su debilidad es el sesgo descrito.
Asignar a todos los rechazados como malos. Tratar a todos los rechazados como incumplidores. Corrige en la dirección correcta, pero se pasa: supone que la política anterior nunca se equivocó y empuja al modelo nuevo a reproducir el anterior.
Extrapolación. Ajustar un modelo preliminar con los aprobados, puntuar con él a los rechazados y usar esas probabilidades como su resultado. Todo depende de qué tan bien generalice ese modelo preliminar a personas distintas de las que vio, que es justamente el problema que se intenta resolver.
Parcelling. Ordenar a todos los solicitantes en tramos según el score preliminar. Dentro de cada tramo, mirar la tasa de malos observada en los aprobados y asignar a los rechazados de ese tramo como buenos o malos en una proporción equivalente, a menudo aumentada porque los rechazados de un mismo tramo suelen ser más riesgosos que los aprobados. El parcelling respeta el orden de riesgo del score y deja que la tasa de malos varíe tramo a tramo.
Fuzzy augmentation. En lugar de decidir si cada rechazado es bueno o malo, se duplica cada rechazado en dos registros, uno bueno y uno malo, ponderados por la probabilidad inferida de cada resultado. Ningún rechazado queda forzado a una etiqueta y la incertidumbre llega al entrenamiento a través de los pesos.
Existen enfoques más sofisticados, como los modelos en dos etapas o bivariados que modelan a la vez la aprobación y el incumplimiento, o el aprendizaje semisupervisado. Pero el parcelling y la fuzzy augmentation siguen siendo los más usados en la práctica porque se pueden explicar y auditar.
Una advertencia honesta
La inferencia de rechazados no crea información. Reemplaza resultados que faltan por supuestos, y sus resultados dependen de esos supuestos. La evidencia académica es mixta: varios estudios encuentran poca o ninguna mejora con los métodos clásicos, y algunos señalan que sus supuestos rara vez se explicitan. La forma correcta de usarla es como una decisión documentada y verificable, no como un paso que se marca por defecto.
Dos fuentes de información real valen más que cualquier inferencia cuando están disponibles: el comportamiento en el bureau de solicitantes que rechazaste pero que otras instituciones aprobaron, y una prueba pequeña y controlada que apruebe una muestra bajo el punto de corte para observar cómo se comportan en realidad.
Lista de verificación práctica
- Declara explícitamente la población rechazada. Necesitas el estado de aprobación de cada solicitante, no solo una base de créditos.
- Revisa el score preliminar. El parcelling y la fuzzy augmentation son tan buenos como el score que ubica a los rechazados. Usa un modelo razonable o un score existente en el que confíes.
- Elige los tramos con cuidado. Los tramos por cuantiles mantienen tamaños parejos; los de igual ancho siguen la escala del score. Fija un mínimo de registros por tramo para que ninguna tasa de malos dependa de unos pocos créditos.
- Calibra y acota las probabilidades. La calibración (Platt o regresión isotónica) y los topes mínimo y máximo evitan que probabilidades extremas dominen los resultados inferidos.
- Decide cuánto pesan los rechazados. El peso de la población rechazada controla cuánto influye la inferencia en el modelo final.
- Revisa la tasa de malos inferida. Debería ser mayor que la de los aprobados y coherente con lo que el negocio sabe de las personas que rechazó.
- Nunca evalúes con resultados inferidos. Los registros inferidos van solo al entrenamiento. Deben quedar fuera del conjunto de prueba y de cada fold de prueba de la validación cruzada; si no, el modelo termina evaluando sus propios supuestos.
- Compara con el modelo de solo aprobados y documenta la decisión. Si el regulador pregunta por qué el modelo aprueba un segmento que la política anterior rechazaba, la respuesta debería estar por escrito. La explicabilidad empieza por la muestra de entrenamiento.
Cómo lo hace Thorcast
En Thorcast, la inferencia de rechazados es un paso opcional entre la preparación de datos y el modelamiento. Aparece cuando el objetivo es binario y se declaró una población rechazada (una columna de estado de aprobación con sus valores de aprobado y rechazado) y esos registros rechazados siguen en el dataset.
El paso ofrece parcelling y fuzzy augmentation. El score preliminar puede generarse automáticamente o tomarse de una columna de score existente, y la configuración avanzada permite elegir el número de tramos, el método de tramos (cuantiles o igual ancho), el mínimo de registros por tramo, el peso de la población rechazada, los topes de probabilidad y la calibración (ninguna, Platt o regresión isotónica).
Antes de cambiar nada, una vista previa compara el dataset original de solo aprobados con el aumentado: registros totales, malos observados, rechazados inferidos, tasa de malos inferida, tasa de malos total, un resumen por tramo y las advertencias. Luego el usuario decide si usa el dataset aumentado u omite el paso. Las filas inferidas se usan solo para entrenar: nunca entran a la partición de prueba ni a un fold de prueba de la validación cruzada, así que todas las métricas se calculan sobre resultados reales.
La inferencia de rechazados no convierte un dataset débil en un modelo fuerte. Usada con intención y con sus supuestos a la vista, acerca el score que despliegas a la población que realmente va a enfrentar.