Qué revisa una auditoría de IA, punto por punto

Por qué el orden importa

Las cinco capas se revisan en un orden concreto porque cada una necesita la respuesta de la anterior.

Mirar el costo antes de saber qué decide el sistema es leer una factura sin saber qué compraste. Y mirar los permisos sin saber a qué datos accede es revisar una llave sin saber qué puerta abre.

Hay una razón práctica además de la lógica. Cada capa que se revisa produce preguntas para la siguiente, y hacer esas preguntas en la reunión equivocada obliga a volver.

Saber que el sistema decide solo el descuento hasta cierto monto cambia qué se le pregunta a finanzas sobre el costo. Y saber a qué datos accede cambia qué se le pregunta al área de sistemas sobre los permisos.

Hecho en orden, una auditoría de un sistema son tres o cuatro conversaciones. Hecho en desorden, son las mismas conversaciones repetidas dos veces.

1 · Qué decide el sistema

Se pide por escrito, en una tabla de tres columnas: qué hace solo, qué propone para que alguien apruebe y qué manda directamente a una persona.

Casi nunca existe ese documento. Y el hecho de que no exista ya es el primer hallazgo, porque significa que el límite de autonomía nunca se decidió: se fue quedando.

Las preguntas que lo destapan:

• ¿Qué es lo más caro que este sistema podría hacer sin que nadie lo apruebe?
• ¿Cuándo fue la última vez que alguien revisó una muestra de lo que respondió?
• Si mañana empieza a equivocarse en el 10 % de los casos, ¿cómo nos enteraríamos?

Si la tercera no tiene respuesta, el sistema es un bucle abierto: ejecuta y nadie comprueba.

Hay una forma rápida de levantar esa tabla cuando no existe, y es preguntarle al sistema mismo.

Se toman veinte casos de la última semana y se clasifican a mano en las tres columnas. En veinte casos ya se ve si el límite de autonomía que la empresa cree tener es el que está operando.

La sorpresa habitual no es que el sistema haga de más. Es que haga de menos: manda a revisión humana casos que podría cerrar solo, y esa revisión se ha convertido en una cola que nadie mira.

2 · Con qué datos trabaja

Aquí se revisa el recorrido completo del dato, no su calidad en abstracto.

• De dónde sale. Qué sistema es la fuente y si esa fuente es la que la empresa considera oficial.
• Quién lo actualiza y cada cuánto. Un dato que se cargó una vez y nadie refrescó envejece sin avisar.
• Qué pasa cuando falta. Si el sistema improvisa en vez de detenerse, cada hueco se convierte en una respuesta inventada.
• Qué información de la empresa sale hacia el proveedor, que es una pregunta de riesgo y está desarrollada en si los datos de tu empresa entrenan la IA.

Hay un quinto punto que se revisa aparte porque no es del dato sino de quién lo mira: si alguien compara lo que el sistema dijo con lo que pasó después.

Un sistema que estima demanda, prioriza leads o clasifica incidencias produce una predicción que la realidad confirma o desmiente días después. Si nadie hace esa comparación, el sistema puede llevar meses desviándose sin que aparezca en ningún sitio.

Es el mecanismo que en el glosario está descrito como deriva de modelo, y es de los hallazgos que más caro salen porque no duelen hasta que ya llevan tiempo.

3 · Con qué permisos está conectado

Es la capa donde aparecen los sustos, y casi siempre por la misma razón: se conectó con la cuenta que estaba a mano el día de la instalación.

El criterio de fondo está en qué permisos debe tener un agente de IA, y aplica igual a un sistema que no sea un agente.

La prueba concreta que se hace en esta capa cabe en una pregunta: si alguien tomara control de este sistema ahora mismo, ¿qué es lo peor que podría hacer con los permisos que ya tiene?

No hace falta un ejercicio de seguridad sofisticado para responderla. Basta con listar a qué sistemas está conectado y con qué nivel de acceso, y leer la lista en voz alta en la reunión.

En la mitad de los casos alguien de la sala dice «¿eso puede hacer qué?», y ahí termina la parte difícil de convencer de que había que auditar.

4 · Cuánto cuesta sostenerlo de verdad

La factura visible casi nunca es el costo. El total se arma sumando cinco líneas, y tres suelen faltar en la propuesta original.

• Licencias y suscripciones. La única que todos ven.
• Consumo por uso. Crece con la adopción, que es justo lo que la empresa quería. Sin tope ni alerta, sorprende.
• Mantenimiento. Lo que cuesta que alguien revise, ajuste y arregle. Está en cuánto cuesta mantener un agente de IA.
• Horas internas. El tiempo de la gente de la empresa que lo cuida, que no aparece en ninguna factura.
• Costo de salida. Qué costaría cambiar de proveedor. Es el que nadie calcula hasta que hace falta.

Sobre el costo de salida, que es la línea que casi nadie calcula: no es un ejercicio teórico, se estima con tres preguntas.

• ¿Dónde vive el histórico de conversaciones o decisiones, y se puede exportar?
• ¿La configuración del sistema está escrita en algún sitio o vive dentro de la herramienta del proveedor?
• ¿Cuánto tardaría el equipo en volver al proceso anterior si esto se apagara mañana?

Si la tercera no tiene respuesta, la empresa no depende de una herramienta: depende de un proveedor. Es lo que el glosario llama vendor lock-in.

5 · Calidad de respuesta, medida y no opinada

«Funciona bien» no es un dato. Lo que se hace es tomar una muestra de casos reales y revisarlos uno por uno contra un criterio escrito antes de mirar.

Con 50 o 100 casos ya se ve el patrón. Y lo que se busca no es el porcentaje de aciertos, sino dónde falla:

• Si los errores se reparten al azar, es ruido del modelo y se vive con ello.
• Si se concentran en un tipo de caso, hay un hueco de dato o de instrucción, y eso se arregla.
• Si el sistema responde con seguridad cosas falsas, el problema es de diseño y no de precisión.

El criterio escrito antes de mirar es la parte que más se salta y la que hace que la revisión sirva.

Sin criterio previo, quien revisa termina puntuando por sensación, y la sensación cambia según el caso que acaba de leer. Con criterio previo, dos personas distintas revisando la misma muestra llegan a números parecidos.

Un criterio suficiente cabe en tres líneas: qué cuenta como respuesta correcta, qué cuenta como aceptable pero mejorable y qué cuenta como error. Escrito antes, no después.

6 · Quién responde cuando falla

La última capa es la más corta de revisar y la que más predice el futuro del sistema. Se pregunta un nombre.

Si la respuesta es «el proveedor», falta la mitad. El proveedor responde por que el sistema funcione; alguien de la empresa tiene que responder por que el número mejore. Son dos responsabilidades distintas y se confunden todo el tiempo.

Ese rol interno tiene nombre y está descrito en qué es un Champion de IA.

Hay una pregunta de control que resuelve esta capa en treinta segundos: si el sistema empieza a dar respuestas equivocadas un martes por la mañana, ¿a quién le suena el teléfono?

Si la respuesta tarda en llegar o incluye la palabra «depende», el sistema está huérfano aunque tenga contrato de soporte vigente.

Qué se revisa de la documentación

No se audita si la documentación es bonita. Se audita si describe el sistema que está funcionando hoy.

La prueba es rápida: se toma una decisión que el sistema tomó esta semana y se busca en el documento por qué la tomó. Si no está, la documentación describe otra versión.

Lo que sí tiene que estar está en cómo se documenta una arquitectura de IA.

Con qué sale el comité

El entregable útil de las seis capas cabe en una página.

Todo lo demás es anexo. Si el comité necesita leer cuarenta páginas para decidir, la auditoría no terminó su trabajo.

Un detalle de forma que cambia cómo se recibe el informe: los hallazgos se escriben en el idioma del negocio y no en el del sistema.