Qué criterios de evaluación usar en una licitación de IA

El error de puntuar el papel y no el problema

La mayoría de licitaciones de IA que he revisado (públicas y privadas) comparten el mismo defecto de diseño: el pliego de criterios premia lo que es fácil de medir en un documento, no lo que resuelve el problema del negocio. Cantidad de certificaciones, años de constitución de la empresa, número de “casos de éxito” listados en el portafolio, extensión de la lista de tecnologías y frameworks que dice dominar. Ninguno de esos puntos predice si el proveedor va a entender tu proceso real y va a ejecutar algo que mueva un número.

El resultado es previsible. Adjudicas al proveedor que mejor arma el expediente, no al que mejor va a ejecutar. Y como el criterio “técnico” suele concentrar sesenta u ochenta puntos sobre cien mientras el precio se lleva el resto, terminas premiando exactamente lo que no deberías: quién presenta el documento más grueso, con el logotipo más pulido y la lista de certificaciones más larga.

En el sector público esto se agrava porque los pliegos suelen copiarse de licitaciones anteriores de software genérico, sin ajustar nada al hecho de que un proyecto de IA no se evalúa como una licencia de ERP. En el sector privado el problema es distinto pero el efecto es el mismo: comités informales que arman una tabla de comparación en un par de horas, puntúan “experiencia” y “tecnología” a ojo, y terminan eligiendo al proveedor que mejor presentó en la reunión, no al que mejor diagnóstico hizo.

El problema no es que evaluar sea difícil. Es que evaluamos lo cómodo de contar (certificados, años, número de clientes en el portafolio) en vez de lo que de verdad predice ejecución: entendimiento del proceso y evidencia de resultado comparable. Cambiar eso no requiere un pliego más largo. Requiere pesar distinto lo que ya deberías estar pidiendo.

Qué es un criterio de evaluación que sirve (y qué no)

Un criterio de evaluación que sirve es uno que, si dos proveedores mienten con la misma soltura en la reunión de venta, igual permite distinguir cuál de los dos entendió tu proceso y cuál solo memorizó el discurso. Eso implica pedir evidencia verificable, no autodeclaraciones, y diseñar el puntaje para que premie profundidad de diagnóstico y resultado comparable, no volumen de papel.

• No es una lista de tecnologías que el proveedor dice dominar: dominar un stack no es lo mismo que resolver tu proceso con él.
• No es un ranking por tamaño de empresa o años de constitución: una consultora de quince años puede seguir vendiendo humo, y una boutique de tres años puede tener el mejor historial en tu tipo de proceso.
• No es un formulario de cumplimiento donde se ganan puntos por marcar casillas (certificación ISO, insignia de partner de algún proveedor de nube, número de empleados).
• No es un ejercicio para blindar legalmente al comité: si los criterios solo existen para justificar una decisión ya tomada de antemano, no son criterios, son coartada.
• No es copiar los criterios de una licitación de software tradicional: la IA agrega variables (propiedad de datos, dependencia del proveedor, deriva del sistema en el tiempo) que un pliego genérico no contempla.

Los seis criterios y el peso que deberían tener

Después de revisar decenas de pliegos, y de rediseñar varios desde cero, llegué a una estructura de seis criterios con pesos que sí correlacionan con ejecución real. No es una fórmula matemática infalible. Es un punto de partida defendible frente a cualquier comité, y una forma de obligar a que la conversación se centre en lo que importa.

Entendimiento del problema y del proceso (peso alto)

Es el criterio que más debería pesar y el que casi ningún pliego mide en serio. No se trata de que el proveedor repita tu problema con otras palabras en la propuesta. Se trata de que muestre, con evidencia concreta, que hizo un diagnóstico del proceso que vas a intervenir: dónde están los cuellos de botella, qué dato existe y cuál no, qué decisión humana se está automatizando o apoyando y qué pasa si esa decisión sale mal.

Evidencia de resultados comparables (peso alto)

No preguntes cuántos proyectos de IA ha hecho el proveedor. Pregunta cuántos proyectos comparables al tuyo, en tu tipo de proceso o industria, terminaron con un número de negocio que se movió y que se pueda verificar con una referencia contactable. Un proveedor sin proyectos idénticos pero con un proceso de diagnóstico y medición sólido puede pesar más que uno con un portafolio largo y difuso.

Propiedad de datos y del sistema (peso alto)

Quién es dueño del código, del modelo ajustado, de la base de conocimiento construida durante el proyecto y de los datos que el sistema genera en el tiempo. Este criterio decide si en tres años puedes cambiar de proveedor sin empezar de cero, o si quedaste secuestrado por quien te vendió la solución. Es, junto con el primero, el criterio que más dinero cuesta ignorar.

Plan de medición y riesgo (peso medio)

Qué indicador de negocio se va a mover, en qué plazo, con qué método de medición, y qué se hace si el resultado no aparece. Un proveedor serio propone un plan de medición antes de firmar, no después de que el proyecto ya se atrasó. Este criterio también debe cubrir el plan de contingencia si el modelo falla, si el proveedor de infraestructura sube precio, o si el equipo asignado rota.

Costo total de propiedad (peso medio)

No es solo el monto del contrato. Incluye licenciamiento de terceros, costo de cómputo o de uso de modelos, mantenimiento, y el costo de salida si decides cambiar de proveedor. Un precio bajo con un costo de salida altísimo es más caro a mediano plazo que un precio más alto con propiedad clara del sistema.

Credenciales y tecnologías (peso bajo, higiene mínima)

Certificaciones, partnerships con proveedores de nube, número de años en el mercado. Sirven como filtro de entrada (que el proveedor exista, que tenga solvencia mínima, que no sea una fachada), no como criterio que decide la adjudicación. Trátalo como requisito de habilitación, no como puntaje que compite con el fondo.

• Entendimiento del problema y del proceso: alrededor del 25 por ciento del puntaje técnico.
• Evidencia de resultados comparables: alrededor del 25 por ciento.
• Propiedad de datos y del sistema: alrededor del 20 por ciento.
• Plan de medición y riesgo: alrededor del 15 por ciento.
• Costo total de propiedad: alrededor del 10 por ciento (aplicado solo entre quienes ya pasaron el umbral mínimo de fondo).
• Credenciales y tecnologías: alrededor del 5 por ciento, o directamente tratado como requisito de habilitación fuera del puntaje.

Cómo blindar cada criterio contra el humo

Cada criterio bien intencionado se puede vaciar de contenido si no cierras la puerta por donde entra el humo. Estos son los trucos más comunes que he visto en propuestas, y cómo cerrarlos desde el propio texto del pliego.

• El criterio de “experiencia en IA” sin pedir evidencia verificable: cualquier proveedor escribe “tenemos diez años de experiencia en IA”. Exige dos o tres referencias de clientes en tu mismo tipo de proceso, contactables, con nombre y contacto directo, no solo un logotipo en una diapositiva.
• El criterio de “equipo certificado” que no dice quién ejecuta: pide el perfil y la trayectoria de las personas que van a estar asignadas a TU proyecto, no del staff senior que solo aparece en la reunión de venta y desaparece después de la firma.
• El criterio de “metodología propia” sin artefactos que la respalden: pide ver un ejemplo real, anonimizado si hace falta, de un diagnóstico de proceso que hayan entregado antes. Si la metodología tiene nombre bonito pero no hay un documento que la muestre en acción, es marketing.
• El criterio de “tecnología de punta” que en realidad es un envoltorio sobre un tercero: pregunta explícitamente qué modelo o proveedor de IA usan por debajo, qué pasa si ese tercero sube precio o cambia condiciones de servicio, y quién queda como dueño del código y de los datos resultantes.
• El precio más bajo funcionando como desempate silencioso: si en la práctica el precio termina decidiendo entre dos propuestas con puntaje técnico similar, revisa si tu escala de puntaje técnico realmente distingue con suficiente rango entre un buen y un mal proveedor. Si no distingue, el problema está en la escala, no en el precio.

Cómo redactar el criterio para que sea verificable, no subjetivo

La forma en que se redacta el criterio determina si el puntaje se puede defender o si termina siendo la opinión del día del jurado. Un criterio subjetivo usa adjetivos (“innovador”, “robusto”, “de vanguardia”) que cualquiera puede reclamar sin que nadie los pueda verificar. Un criterio verificable pide un artefacto concreto y define qué gana puntos altos, medios y bajos.

• Mal: “Se valorará la experiencia del proveedor en proyectos de IA” (cero puntos verificables, cualquiera se autoadjudica el máximo). Bien: “Se otorgan hasta veinte puntos por número de proyectos de automatización o IA aplicada en el mismo sector o tipo de proceso, con al menos un contacto de referencia verificable por proyecto presentado”.
• Mal: “Se valorará el entendimiento del proceso del cliente” (subjetivo, depende del ánimo del jurado ese día). Bien: “El proveedor debe presentar, como parte de la propuesta, un diagnóstico preliminar del proceso a intervenir, con al menos tres cuellos de botella identificados y su impacto estimado; se puntúa la precisión y la profundidad de ese diagnóstico frente al proceso real descrito en las bases”.
• Mal: “Se valorará la innovación tecnológica de la propuesta” (premia el discurso, no el resultado). Bien: “Se puntúa la claridad con la que la propuesta explica qué decisión de negocio mejora, qué dato usa para hacerlo y cómo se va a medir el resultado a noventa días de iniciada la operación”.
• Define bandas de puntaje con descriptores, no solo un número: para cada criterio, escribe qué respuesta gana el rango alto, cuál el medio y cuál el bajo, de modo que dos evaluadores distintos lleguen a un puntaje parecido frente a la misma propuesta.
• Exige que cada evaluador justifique el puntaje por escrito: una casilla con un número sin sustento no sirve para defender la decisión ni para aprender de ella después.

Cómo construir la matriz de puntaje sin que se vuelva un ejercicio de opinión

Tener criterios bien redactados no sirve de nada si el proceso de puntuación en comité se convierte en una negociación de pasillo. La matriz de puntaje necesita reglas de uso, no solo columnas y pesos.

• Evaluadores independientes antes de la reunión conjunta: cada miembro del comité puntúa por separado, con su justificación escrita, antes de sentarse a “conversar” el resultado; si el puntaje se arma en la reunión, termina cediendo a quien habla más fuerte en la sala.
• Incluye a alguien del área operativa, no solo a compras y legal: quien va a vivir con el sistema todos los días detecta señales de humo que un comprador puro, enfocado en cumplimiento documental, no siempre ve.
• Exige evidencia citada, no solo el número final: cada punto asignado debe apuntar a una página o sección específica de la propuesta; si el evaluador no puede señalar dónde está la evidencia, el puntaje es opinión disfrazada de evaluación.
• Define de antemano qué pasa con el precio si pierde frente al puntaje técnico: acuerda la regla de desempate antes de abrir sobres, no después de ver quién ofreció menos.
• Guarda la matriz completa como parte del expediente del proyecto: sirve para defender la decisión frente a una auditoría o un reclamo, y sobre todo sirve para revisar, seis meses después, qué criterio predijo bien la ejecución real y cuál no aportó nada.

Cómo se ve en la práctica

Un organismo público regional de tamaño mediano, alrededor de doscientos funcionarios, en Perú, había sacado una licitación de IA con un pliego heredado casi textual de una compra anterior de software administrativo. El criterio técnico pesaba setenta puntos, repartidos entre “experiencia de la empresa” (años de constitución y número de clientes), “equipo certificado” y “tecnología propuesta”. El precio se llevaba el resto.

Ganó la propuesta con la demo más vistosa y el portafolio de certificaciones más largo. A los cuatro meses el proyecto seguía sin un diagnóstico claro del proceso que debía intervenir, el equipo asignado en ejecución no era el que había presentado la propuesta, y nadie del comité podía explicar qué indicador de gestión se suponía que iba a mejorar.

En la siguiente licitación, tras un cambio de dirección del área de sistemas, se reescribieron los criterios con la lógica de este artículo: entendimiento del proceso y evidencia de resultado comparable concentrando la mitad del puntaje, propiedad de datos y del sistema como criterio explícito, y credenciales bajadas a requisito de habilitación en vez de puntaje competitivo. Ganó una empresa más pequeña, sin el portafolio más extenso, pero que presentó un diagnóstico detallado del proceso con cuellos de botella específicos y dos referencias verificables en procesos comparables del sector público.

El proyecto arrancó con un plan de medición acordado desde el contrato, algo que la licitación anterior nunca tuvo. Seis meses después, el organismo pudo mostrar una mejora medible y sostenida en el tiempo de un trámite específico, con datos propios y auditables, no con la palabra del proveedor. El cambio no fue de presupuesto. Fue de qué se decidió pesar.

Mi criterio

Cómo saber si lo hiciste bien

No necesitas un pliego perfecto para licitar mejor. Necesitas uno donde los criterios de mayor peso predigan ejecución y no solo presentación. Antes de publicar las bases, revisa esto.

• El criterio de mayor peso individual es entendimiento del proceso o evidencia de resultados, no experiencia genérica ni tecnología.
• Cada criterio pide un artefacto verificable (referencia contactable, diagnóstico escrito, plan de medición) y no una autodeclaración del proveedor.
• Las credenciales y certificaciones están tratadas como requisito de habilitación, no como puntaje que compite con el fondo.
• Existe una regla escrita de qué pasa con el precio frente al puntaje técnico, acordada antes de abrir sobres.
• Los evaluadores puntúan por separado, con justificación escrita citando dónde está la evidencia, antes de discutir el resultado en conjunto.

Si al revisar tu pliego con esta lista encuentras que el criterio más pesado sigue siendo algo que se autodeclara sin evidencia, todavía estás evaluando papel. Corrígelo antes de publicar las bases, no después de adjudicar.