Qué es la deriva de modelo (model drift) y cómo se detecta a tiempo

El sistema que sigue funcionando, pero cada vez peor

Una empresa de logística en Perú, con flota propia y contratos con cadenas de retail grandes, construyó hace algunos años un sistema que calculaba cuánto tardaría cada ruta y qué tan probable era que un pedido llegara tarde. El primer año funcionó bien: las promesas de entrega mejoraron y el área comercial lo usaba para negociar acuerdos de servicio con sus clientes. El problema llegó después, cuando nadie estaba mirando el sistema con la misma atención del lanzamiento.

Cambiaron los proveedores de combustible, se abrió una vía nueva en la ciudad, entraron dos competidores con tarifas agresivas que obligaron a rediseñar rutas completas. El sistema siguió calculando tiempos con la lógica de años atrás, sin que ninguna alerta se disparara. Nadie recibió un mensaje de error. Lo que empezó a recibir el área comercial, meses después, fueron reclamos de clientes y preguntas incómodas sobre por qué las promesas de entrega ya no se cumplían como antes.

El mismo patrón se repite en sectores distintos con la misma forma exacta: un banco mediano en México que dejó de detectar un tipo nuevo de fraude porque el sistema seguía buscando las señales del fraude viejo, una cadena de retail que perdió precisión en su pronóstico de demanda cuando cambió el mix de canales de venta después de la pandemia. El síntoma es idéntico en los tres casos: el sistema no avisa que está fallando, la empresa se entera por el resultado de negocio, casi nunca por el sistema mismo.

Qué es la deriva de modelo, en criterio de negocio

En criterio de negocio, la pregunta correcta no es si un sistema de IA se puede romper de un día para otro, sino cuánto tiempo puede pasar dando respuestas cada vez peores antes de que alguien lo note. Un modelo no tiene forma de saber que el mundo cambió: aprendió un patrón con datos de un momento específico de la operación y sigue aplicando ese patrón exacto, aunque la realidad del negocio ya sea otra. Esto es distinto de un error de programación o una caída de servidor, que sí generan una alerta visible. Aquí no hay nada que se rompa: el sistema sigue vivo, sigue respondiendo, solo que cada vez con menos razón.

Esto tiene una consecuencia práctica que casi ninguna empresa presupuesta a tiempo: un sistema de IA no es un software que se instala y queda terminado. Es un sistema que necesita mantenimiento activo porque el terreno que pisa se mueve todo el tiempo. La empresa que trata su sistema de IA como un proyecto cerrado (se implementa, se firma el acta de cierre y el equipo pasa a la siguiente prioridad) es la misma empresa que meses después no entiende por qué las decisiones automatizadas empezaron a fallar sin que nadie tocara nada. Quien quiera entender el fundamento detrás de este comportamiento puede revisar la guía sobre qué es machine learning, que explica cómo aprende un modelo el patrón que después puede quedarse obsoleto.

Deriva de datos y deriva de concepto: no es lo mismo

No toda deriva de modelo tiene el mismo origen, y confundir los dos tipos lleva a arreglar lo que no es el problema. Hay dos formas distintas en que la realidad se mueve debajo de un sistema de IA.

Deriva de datos: cambia lo que entra

La deriva de datos ocurre cuando el tipo de información que recibe el sistema cambia, aunque la relación entre esa información y el resultado esperado siga siendo la misma. El modelo sigue razonando bien con los datos que conoce, el problema es que le está llegando un tipo de dato distinto al que aprendió a leer.

• Un e-commerce empieza a vender en un canal nuevo (marketplace) y el perfil de compra que llega es distinto al de la tienda propia.
• Una empresa de manufactura cambia de proveedor de sensores y las lecturas llegan con otra escala o frecuencia.
• Un banco lanza un producto nuevo y el flujo de solicitudes trae variables que el modelo de scoring nunca vio en el entrenamiento.
• Una cadena de retail abre en una ciudad con un patrón de consumo distinto al de las plazas donde se entrenó el modelo.

Deriva de concepto: cambia la relación entre causa y efecto

La deriva de concepto es más profunda: no cambia lo que entra, cambia la relación entre las variables y el resultado que el modelo intenta predecir. Lo que antes era una señal confiable de fraude, de riesgo o de abandono deja de serlo, porque el comportamiento detrás de esa señal cambió.

• Una fintech ve cómo su modelo de fraude pierde efectividad porque las bandas cambiaron de táctica y ya no dejan el rastro que el modelo aprendió a reconocer.
• Una aseguradora entrenó su modelo de riesgo antes de una ley nueva de tránsito y la relación entre edad del conductor y siniestralidad cambió.
• Un centro de contacto ve que su modelo de predicción de abandono deja de acertar porque entró un competidor con una oferta agresiva y el motivo real de fuga cambió.

Distinguir cuál de los dos tipos está ocurriendo es también un problema de calidad de datos: la guía de qué es la calidad de datos entra directamente aquí, porque buena parte de la deriva de datos se detecta con las mismas prácticas de monitoreo de calidad, mientras que la deriva de concepto exige mirar el resultado de negocio, no solo la información de entrada.

Por qué la realidad cambia debajo del modelo

Un modelo no envejece porque la tecnología se vuelva vieja, envejece porque el negocio y el entorno donde opera siguen moviéndose después de que el modelo dejó de aprender. Las causas más comunes que se ven en la operación no son exóticas, son las mismas que cualquier gerente reconoce de memoria.

• Entra un competidor nuevo con una oferta que cambia el comportamiento de los clientes que el modelo intentaba predecir.
• Cambia una ley o una norma del sector (tributaria, laboral, de protección de datos) y el proceso que el modelo modelaba ya no funciona igual.
• Sube o baja la inflación y cambia el poder de compra, lo que altera cualquier modelo que prediga consumo, mora o abandono.
• Cambia un proceso interno (un rediseño de flujo comercial, un cambio de política de crédito) y el modelo sigue asumiendo el proceso viejo.
• Cambia la composición de los clientes mismos, por ejemplo cuando una empresa entra a un segmento o una geografía nuevos.

Ninguna de estas causas es responsabilidad del proveedor de tecnología ni del equipo de datos. Son parte normal de operar una empresa. El error no es que la realidad cambie, el error es diseñar el sistema como si no fuera a cambiar nunca.

Cómo se detecta a tiempo, antes de que cueste dinero

La deriva de modelo casi nunca se detecta mirando el sistema de IA en sí. Se detecta comparando lo que el modelo predijo contra lo que efectivamente pasó, con una disciplina de monitoreo que la mayoría de empresas no arma porque la dieron por incluida en el proyecto original y no lo estaba.

Esto es justamente lo que cubre la disciplina de gestión de modelos de IA en producción: la guía de LLMOps y modelo de IA en producción entra en el detalle técnico de cómo se arma ese monitoreo. Aquí lo que importa es el criterio de negocio detrás: sin ese monitoreo, la deriva es invisible hasta que el resultado de negocio la delata.

• Precisión real contra predicha: comparar periódicamente lo que el modelo dijo que pasaría contra lo que pasó de verdad, no solo revisar que el sistema esté funcionando.
• Distribución de las entradas: vigilar si el perfil de los datos que llegan hoy se parece al de los datos con que se entrenó el modelo.
• Quejas y excepciones manuales: un aumento en los casos que el equipo humano tiene que corregir a mano es una alerta temprana, no solo una molestia operativa.
• Frecuencia de reentrenamiento: si el modelo nunca se ha vuelto a entrenar desde que se instaló, es una señal de riesgo en sí misma, más allá de si ya hay deriva medida.

La pregunta que conviene hacerle a cualquier empresa que ya tiene un sistema en producción es simple: ¿alguien está mirando esto con la misma frecuencia con la que mira las ventas? Si la respuesta es no, ya hay deriva que nadie está midiendo, así el sistema todavía no haya fallado de forma visible. La guía de cómo saber si tu sistema de IA funciona profundiza en cómo armar esa medición sin depender de que el proveedor avise por su cuenta.

Por qué el mantenimiento se presupuesta antes de firmar, no después

El error más caro que se repite en distintas empresas no es técnico, es comercial: negocian el contrato de un sistema de IA como si fuera una compra única, y descubren el costo real del mantenimiento cuando el sistema ya está en producción y el negocio ya depende de él.

Un sistema de IA sin presupuesto de mantenimiento no es un sistema completo, es un sistema con fecha de vencimiento sin fecha visible. La guía de cómo mantener y actualizar un sistema de IA en producción entra en el detalle operativo de qué implica ese mantenimiento. El punto de negocio, antes de eso, es más simple: si en la propuesta de un proveedor no aparece una línea explícita de monitoreo y reentrenamiento, esa propuesta está incompleta, así el precio inicial se vea más atractivo.

• Pedir que el contrato defina qué se mide para saber si el modelo sigue funcionando, no solo que funcione en el sentido técnico.
• Pedir la frecuencia mínima de revisión del desempeño y quién es responsable de ejecutarla.
• Pedir qué pasa si se detecta deriva: quién reentrena, con qué datos y en cuánto tiempo.
• Preguntar qué pasó con otros clientes del proveedor que llevan más tiempo en producción, no solo ver el caso de éxito del lanzamiento.

Ninguna de estas preguntas es agresiva, es la misma diligencia que cualquier gerente aplicaría antes de firmar un contrato de mantenimiento de maquinaria industrial. La única diferencia es que aquí el desgaste no se ve ni se escucha.

Mi criterio

Cuándo preocuparte y cuándo no

No toda empresa necesita un programa formal de monitoreo de deriva desde el primer día, pero sí necesita saber en qué momento deja de ser opcional. Esto depende menos del tamaño de la empresa y más de qué tan seguido cambia el terreno donde opera el modelo.

Señales de que tu modelo ya está derivando

• El equipo empieza a corregir manualmente cada vez más casos que antes el sistema resolvía solo.
• Nadie en la empresa puede decir cuándo fue la última vez que se comparó lo que predijo el modelo contra lo que realmente pasó.
• El modelo no se ha vuelto a entrenar desde que se implementó, aunque el negocio cambió de producto, canal o mercado en ese tiempo.
• Empezaron a aparecer quejas de clientes o resultados de negocio raros que nadie conecta todavía con el sistema de IA.
• Cambió una ley, entró un competidor fuerte o se rediseñó un proceso interno clave y nadie revisó si el modelo seguía vigente después de eso.

Señales de que tu modelo todavía está sano

• Existe una comparación periódica y documentada entre lo que el modelo predijo y lo que pasó de verdad.
• Hay una persona o equipo con la responsabilidad explícita de mirar ese desempeño, no solo de mantener el sistema encendido.
• El modelo se ha reentrenado o revisado después de cada cambio relevante del negocio (nuevo producto, nueva geografía, nueva regulación).
• El presupuesto de mantenimiento del sistema está separado y visible, no escondido dentro del costo original del proyecto.
• El equipo puede explicar, sin adivinar, por qué el modelo tomó una decisión específica en un caso reciente.

El orden correcto, aplicado a la deriva de modelo

El orden correcto para pensar la deriva de modelo es el mismo que aplica a cualquier decisión de IA: primero el dolor de negocio (decisiones que se degradan sin avisar), después el proceso (quién revisa qué y cuándo), después el dato (comparar predicción contra realidad) y solo al final la herramienta que automatiza esa revisión. La mayoría de las empresas hace este orden al revés: compran la herramienta, asumen que el proceso viene incluido, y descubren el dolor de negocio cuando ya es un problema de clientes o de pérdidas.

Un sistema de IA que nadie revisa no es un sistema estable, es un sistema que todavía no ha mostrado su factura. La deriva de modelo no se previene comprando mejor tecnología, se previene aceptando desde el principio que ningún modelo se queda quieto mientras el negocio sigue moviéndose.