Cómo evaluar y comparar propuestas de proveedores de IA

El error que comete casi todo comité que compara propuestas de IA

El proceso de comparar propuestas de proveedores de IA casi siempre arranca mal, y arranca mal desde el primer “gracias, esperamos su propuesta”. Cada proveedor recibe la misma pregunta implícita (¿cuánto cuesta resolver esto?) y responde desde su propio modelo de negocio: uno cotiza un piloto de tres meses, otro cotiza una plataforma completa con soporte a un año, el tercero cotiza solo el desarrollo y deja la implementación como “a coordinar después”. Ninguno miente. Cada uno respondió honestamente desde su propia forma de vender. El error es del comprador que pone las tres propuestas sobre la misma mesa como si fueran comparables sin haberlas normalizado antes.

El comité, casi siempre, lee las tres propuestas de corrido, se queda con una impresión general (“esta se ve más seria”, “esta es la más barata”) y decide con esa impresión. Es la forma más fácil de comprar el envoltorio en vez del contenido: la calidad del documento, cuántas veces aparece la palabra “agentes” o “transformación”, la elocuencia de quien presenta en la reunión de cierre. Nada de eso predice el resultado de negocio que se obtendrá seis meses después de firmar.

El costo de este error no aparece en la reunión de selección. Aparece cuando el proveedor elegido factura un cambio de alcance que “no estaba incluido en la propuesta original”, cuando nadie del equipo interno puede tocar el sistema porque el código y los datos viven en la cuenta del proveedor, o cuando el área que pidió la solución descubre que lo que compraron mide algo distinto de lo que necesitaba medir. En ese punto ya no hay comité que revise nada: solo queda ejecutar lo que se firmó, con el proveedor que se eligió por impresión y no por criterio.

La causa raíz es simple y se repite en cada mala decisión de compra de IA: comparar propuestas sin normalizarlas primero es comparar el envoltorio, no el contenido. El envoltorio no dice nada sobre si el proveedor entendió el problema, sobre quién ejecuta realmente, ni sobre qué pasa si el sistema falla. Comparar bien es, antes que nada, un ejercicio de traducción: convertir tres documentos distintos a un mismo lenguaje de negocio.

Qué es (y qué no) evaluar y comparar propuestas de IA

Evaluar y comparar propuestas de proveedores de IA es el ejercicio de poner dos o más ofertas sobre una misma matriz de criterios de negocio antes de mirar el precio final. No es leer, opinar en la sala y votar. Es traducir cada propuesta a las mismas categorías (problema entendido, resultado prometido, propiedad, riesgo, costo total, equipo que ejecuta) para que la comparación sea real y no una impresión compartida por el comité.

La confusión más común es tratar este proceso como una simple cotización de precios, cuando en realidad es una decisión sobre quién va a ser dueño de un sistema que va a operar dentro del negocio por años, no una compra de licencias de software genérico que se puede cambiar sin costo el próximo trimestre.

• No es elegir la propuesta más barata sin preguntar por qué lo es: el precio de entrada rara vez incluye todo lo que el negocio necesita para operar el sistema.
• No es premiar la propuesta con más jerga técnica: hablar de “agentes”, “RAG” o “modelos fine-tuneados” no es evidencia de que el proveedor entendió tu negocio.
• No es un concurso de storytelling: el mejor diseño de documento o la demo más vistosa no es necesariamente la que ejecuta mejor ni la que asume menos riesgo.
• No es una decisión que un solo gerente justifique de memoria: sin comparación documentada, la decisión no se puede defender ni auditar después.
• No es evaluar por simpatía con el vendedor: “me cayó bien en la reunión” es un sesgo, no un criterio de compra.

La matriz común: cómo normalizar propuestas que no fueron escritas para compararse

La única forma de comparar propuestas que llegaron en formatos distintos, con alcances distintos y con vocabularios distintos, es forzarlas a pasar por la misma matriz. No importa cómo llegó cada una: la tarea de quien compra es extraer, de cada propuesta, la respuesta a las mismas preguntas, en el mismo orden, antes de que el precio entre a la conversación.

Las seis preguntas que toda propuesta debe responder

• ¿Qué problema entendió el proveedor?: que describa el problema en tus palabras, no en las suyas. Si describe un problema distinto al que planteaste, ya perdiste comparabilidad antes de empezar.
• ¿Qué resultado promete y cómo se mide?: un número, una métrica y un plazo. Si la propuesta dice “mejorar la eficiencia” sin un indicador concreto, no hay nada real que comparar en esa fila.
• ¿Quién es dueño de los datos y del sistema al terminar el contrato?: código, modelos ajustados, prompts, integraciones y datos de entrenamiento. Sin respuesta por escrito, la respuesta por defecto suele ser “ellos”.
• ¿Qué pasa si el sistema falla o no llega al resultado prometido?: qué garantía existe, qué soporte, qué cláusula de salida hay si el proyecto no cumple lo prometido.
• ¿Cuál es el costo total, no solo el inicial?: implementación, licencias recurrentes, cómputo, mantenimiento y el costo de salir del proveedor si hay que migrar en dos años.
• ¿Quién ejecuta realmente el trabajo?: nombre, rol y experiencia concreta de quienes van a tocar tu proceso, no solo el logo de la empresa que firma el contrato.

La forma más simple de aplicar esto es una hoja de cálculo, no un documento de opinión: una fila por propuesta, una columna por cada pregunta, y una celda vacía cuando la propuesta no responde algo. Esa celda vacía es información. Un proveedor que no puede decir por escrito quién es dueño del sistema al terminar, o qué pasa si falla, está diciendo algo con su silencio, aunque su precio sea el más bajo de los tres.

Por qué el precio más bajo casi siempre esconde alcance recortado o riesgo

El precio más bajo casi siempre esconde una de dos cosas: alcance recortado o riesgo trasladado al comprador. Ninguna de las dos es visible en la primera lectura de la propuesta, y las dos se pagan después de la primera factura, cuando ya es más caro corregir que haber preguntado antes.

El alcance recortado se ve así: dos proveedores cotizan “un sistema de clasificación de pedidos con IA”. Uno incluye el sistema completo, la integración con el sistema de gestión existente, la capacitación del equipo y tres meses de ajuste posterior. El otro cotiza solo el modelo entrenado, sin integración ni capacitación, y por eso su precio es la mitad. Leídos en el mismo resumen ejecutivo, con el mismo título de proyecto, parecen la misma propuesta. No lo son.

El riesgo trasladado se ve distinto, y es más peligroso porque no se nota hasta que algo falla: un proveedor barato que no ofrece garantía de resultado, que no define qué pasa si el sistema no llega al indicador prometido, o que retiene la propiedad del código y los datos como forma implícita de asegurar que el cliente vuelva a pagarle por cualquier cambio futuro. Ese proveedor no está siendo deshonesto, está trasladando el riesgo del proyecto al comprador, a un precio que parece atractivo precisamente por eso.

Preguntas que exponen qué esconde un precio bajo

• ¿Qué NO incluye este precio?: pide la lista explícita de exclusiones por escrito, no la asumas ni la infieras del documento.
• ¿Este precio da propiedad del sistema o solo el uso mientras se sigue pagando?: la diferencia entre comprar un activo y quedar atado a una dependencia.
• ¿Qué pasa con el soporte después del primer mes?: varias propuestas bajas cotizan solo el desarrollo inicial y dejan el soporte como un ítem aparte, que aparece recién en la segunda factura.
• ¿Cuántas personas reales, con qué experiencia, ejecutan por ese precio?: un precio bajo con reutilización real de componentes ya probados es una apuesta razonable; un precio bajo con un equipo junior sin acompañamiento senior es una apuesta distinta, aunque el número en la hoja de cálculo se vea igual.

Cómo puntuar cada propuesta sin que el precio decida solo

Una vez llena la matriz, el siguiente paso es asignar un peso a cada criterio antes de ver los números finales, no después. Esto suena obvio y casi nunca se hace: la mayoría de los comités define los criterios de evaluación en la misma reunión donde ya conocen los precios, y ese orden contamina el resultado. El peso se decide antes de abrir la última propuesta, no durante la comparación.

Un método simple de puntaje ponderado

• Resultado prometido y forma de medirlo (30%): qué tan claro, específico y verificable es el indicador que la propuesta promete mover.
• Riesgo y qué pasa si falla (25%): garantías, cláusulas de salida, y qué tan protegido queda el negocio si el proyecto no cumple.
• Costo total, no solo el inicial (20%): implementación más operación más el costo de salida del proveedor a dos o tres años.
• Equipo real que ejecuta (15%): experiencia concreta demostrable de las personas asignadas, no del portafolio general de la empresa proveedora.
• Propiedad de datos y del sistema (10%): qué tanto control retiene el negocio sobre lo que se construye con su dinero.

Cada criterio se puntúa del uno al cinco por propuesta, se multiplica por su peso y se suma. El número final no reemplaza el juicio del comité, lo ordena. Sirve para exponer, con números, cuando la propuesta más barata en total pesa menos en la suma ponderada que una propuesta más cara pero con menos riesgo y mejor equipo. Sin esa suma, la conversación en la sala vuelve casi siempre al único número que todos entienden sin esfuerzo: el precio final.

El puntaje no busca falsa precisión matemática. Nadie necesita creer que un 4.15 es objetivamente mejor que un 3.95. Lo que aporta es forzar al comité a hacer explícito el criterio antes de decidir, y a dejar un rastro escrito de por qué cada propuesta recibió el número que recibió.

Cómo documentar la decisión para que resista una revisión posterior

La comparación no termina cuando el comité elige un proveedor. Termina cuando esa elección queda documentada de forma que cualquier persona, meses después (auditoría interna, un nuevo gerente, la misma dirección que pregunta “¿por qué elegimos a este?”) pueda entender el criterio sin reconstruirlo de memoria.

• La matriz completa de las propuestas comparadas: las seis preguntas respondidas (o marcadas como no respondidas) para cada proveedor, con fecha.
• El puntaje ponderado y los pesos usados: para que quede claro que el criterio se definió antes de conocer el precio final, no después.
• El riesgo aceptado con la propuesta elegida y cómo se mitiga: ningún proveedor es perfecto; documentar el riesgo que se acepta conscientemente es distinto de descubrirlo por accidente meses después.
• Cualquier opinión disidente dentro del comité: si alguien votó distinto o marcó una objeción, que quede registrada, no borrada del acta final.
• Fecha en formato ISO 8601 y nombre de quien aprueba: sin esto, el documento no sirve como evidencia de que la decisión se tomó con proceso, y no de forma improvisada.

Este documento no es burocracia decorativa. Es lo único que protege al comité cuando, seis meses después de firmar, alguien pregunta por qué se eligió a ese proveedor y no al más barato. Sin acta, la respuesta depende de la memoria de quien esté en la sala ese día. Con acta, la respuesta es un documento con criterio, fecha y firma.

Cómo se ve en la práctica

Una distribuidora mediana, unas setenta personas, en Perú, sacó a licitación un sistema de pronóstico de demanda con IA para su área de compras. Recibió tres propuestas: una de una consultora grande con precio alto y un documento extenso, una de un proveedor mediano con precio intermedio, y una de un equipo independiente con precio bajo y una propuesta corta de pocas páginas.

El comité, formado por el gerente de compras y el gerente general, revisó las tres en una reunión de una hora, ordenó por precio final y estuvo a un correo de confirmación de elegir la más barata: el equipo independiente parecía competente, respondía rápido y el precio dejaba presupuesto libre para otras iniciativas del año.

Antes de firmar, alguien insistió en llenar la matriz de las seis preguntas, más por costumbre que por sospecha concreta. Ahí apareció el problema: la propuesta más barata no mencionaba quién sería dueño del modelo entrenado ni de la lógica de pronóstico al terminar el contrato. Al preguntar por escrito, el proveedor respondió que el modelo “se ejecuta en su infraestructura” y que la empresa pagaría una cuota mensual para seguir usándolo, sin acceso al código ni a los parámetros ajustados.

El comité, con la matriz completa sobre la mesa, eligió la propuesta de precio intermedio, que sí entregaba el sistema como activo propio de la empresa, con código y modelo alojados en infraestructura de la distribuidora. El costo total a dos años terminó siendo similar al de la opción “barata” una vez sumada la cuota mensual de por vida, pero con la diferencia de que la empresa quedó dueña del sistema y no dependiente de un proveedor que podía subir el precio de la cuota el año siguiente sin alternativa real.

Mi criterio

Cómo saber si evaluaste bien las propuestas

No existe una fórmula que elimine el riesgo por completo de elegir proveedor de IA, pero sí hay señales claras de que la comparación se hizo con criterio y no por impresión. Antes de firmar, revisa esta lista contra el proceso que siguió tu comité.

• Llenaste la matriz de las seis preguntas para cada propuesta, con fechas, no solo leíste los documentos y opinaste en la sala.
• Definiste los pesos de evaluación antes de conocer el precio final de cada propuesta, no después de verlos.
• Puedes explicar en una frase, sin mirar el precio, por qué la propuesta elegida es mejor que las otras dos.
• Quedó documentado el riesgo que aceptas con la propuesta elegida y cómo se mitiga, no solo por qué ganó.
• El acta de decisión tiene fecha en formato ISO 8601 y el nombre de quien aprobó, lista para resistir una revisión meses después.

Si marcaste las cinco, comparaste con criterio de negocio y no con la comodidad de ordenar por precio. Si no marcaste alguna, todavía estás a tiempo de llenar la matriz antes de firmar el contrato equivocado por el motivo equivocado.