Testing de IA en banca: cómo evitar que tu agente invente tasas o saldos
En banca, un agente que inventa una tasa o un saldo es un problema serio. Cómo probar la IA para evitar errores que cuestan caro.
En banca, una respuesta incorrecta de la IA no es un error simpático: es una promesa que un tribunal puede obligarte a cumplir. En 2024, Air Canada perdió un caso porque su chatbot inventó una política de reembolso que no existía —y el fallo se convirtió en la referencia de facto de que “la empresa es dueña de lo que dice su bot”.[1] Si eso le pasó a una aerolínea por una tarifa de unos cientos de dólares, imagina el costo cuando un asistente bancario inventa una tasa de interés, confirma un saldo equivocado o promete una bonificación que el banco no honra.
Este artículo es para los equipos que están poniendo IA frente a clientes en banca y finanzas: qué puede salir mal, qué hay que probar antes de un lanzamiento, y cómo dejar la evidencia que el regulador puede pedir.
Los modos de falla que pagan caro
El regulador estadounidense de protección financiera al consumidor (CFPB) ya recopiló quejas reales sobre chatbots en finanzas: clientes atrapados en bucles, bots que se niegan a derivar a un humano, e información incorrecta sobre comisiones y disputas.[2] Traducidos a la operación bancaria, los modos de falla más costosos son cuatro:
- Inventar políticas o condiciones. El bot promete una exención de comisión que el sistema después no honra. El cliente reclama, demanda o se queja ante el regulador —o las tres cosas.[2:1]
- Errar en datos sensibles. Confirmar un saldo, una tasa o un estado de cuenta incorrectos. En un modelo financiero, un error del 1% puede ser un redondeo; frente a un cliente que toma una decisión, es un problema real.
- No derivar a un humano. Un bot que atrapa al cliente en un loop en lugar de escalar cuando el caso lo exige es, además de una mala experiencia, una señal de riesgo regulatorio.[2:2]
- Responder mal una pregunta de idoneidad. Un asistente que opina sobre la conveniencia de un producto financiero puede terminar citado en una revisión regulatoria.
El patrón común: todos estos errores se ven bien en el momento. El bot responde con seguridad, el cliente le cree, y la falla solo aparece después —cuando ya hay un reclamo. Por eso no alcanza con que “parezca que anda”: hay que probarlo antes.
Qué tiene que cumplir un agente bancario confiable
Dándole vuelta a los modos de falla, un asistente de IA apto para banca debería poder demostrar que:[2:3]
- Responde con precisión y solo desde fuentes aprobadas por el banco.
- Nunca inventa políticas, comisiones ni condiciones.
- Deriva a un humano cuando el cliente lo pide o el caso lo requiere.
- No atrapa al cliente en bucles sin salida.
- Produce un registro auditable por conversación.
Cada uno de esos puntos es una dimensión medible. Y ahí está la buena noticia: lo que el regulador y el sentido común exigen se puede traducir en pruebas concretas.
Qué evaluar, traducido a pruebas
| Lo que hay que garantizar | Qué se mide | Cómo se prueba |
|---|---|---|
| No inventar tasas, saldos ni políticas | Precisión factual y alucinaciones | Casos con preguntas sobre datos y condiciones reales, verificando contra la fuente |
| Ceñirse a la información del banco | Adherencia a contexto/documentos | Preguntas cuya respuesta correcta está en la documentación aprobada |
| Escalar cuando corresponde | Tasa de derivación correcta a un humano | Casos diseñados para forzar el escalamiento (consultas sensibles, pedidos explícitos) |
| No atrapar en loops | Completitud y resolución | Conversaciones de varios turnos que verifican que el cliente llega a una salida |
| Trato adecuado | Tono y empatía | Casos en situaciones delicadas (reclamos, dificultades de pago) |
El evaluador más crítico en banca suele ser el de adherencia a documentos: el agente puede ser fluido y simpático, pero si “completa” con información que no está en las políticas aprobadas, está inventando. Probar específicamente que sus respuestas se anclan en la fuente —y no en lo que el modelo “cree recordar”— es la diferencia entre un asistente confiable y un pasivo legal.
La evidencia que el regulador puede pedir
Hay una dimensión que en otros sectores es deseable y en banca es directamente obligatoria: la trazabilidad. Un asistente bancario debería producir un registro auditable por conversación, y la institución debería poder demostrar, ante una revisión, que probó sistemáticamente la calidad de su IA antes de exponerla a clientes.
Esto conecta con el marco regulatorio más amplio. Tanto el régimen europeo (EU AI Act) como las regulaciones emergentes en Latinoamérica —en Brasil, por ejemplo, con supervisión sectorial del Banco Central para la IA financiera— empujan en la misma dirección: evaluación de riesgos, no discriminación, supervisión humana y evidencia documentada.[3] El testing no es solo aseguramiento de calidad; es la materia prima de la conformidad.
Cómo lo resuelve ArtificialQA
Validar todo esto a mano —leyendo respuestas una por una— no escala y no deja evidencia defendible. ArtificialQA conecta a tu asistente bancario —por URL o por API, sin escribir código— y lo somete a los evaluadores que importan en este vertical: precisión factual, alucinaciones, adherencia a los documentos y políticas del banco, derivación correcta a un humano y tono. Cada ejecución queda registrada en un historial que sirve como evidencia para una auditoría. Y como calibra a sus propios jueces de IA, los resultados resisten el escrutinio de un regulador.
El resultado práctico: un equipo de QA, producto o cumplimiento del banco puede demostrar —antes del go-live y de forma continua después— que su agente no inventa, deriva cuando debe y se ciñe a las fuentes aprobadas. Porque en banca, la pregunta nunca es si vale la pena probar la IA antes de exponerla. Air Canada ya respondió esa pregunta por todos: lo que tu IA le dice a un cliente es lo que tu institución tendrá que sostener.
Preguntas frecuentes
¿Por qué es tan riesgoso un chatbot bancario que se equivoca? Porque la información que da puede ser legalmente vinculante para la institución. Un caso de referencia (Air Canada, 2024) estableció que la empresa es responsable de lo que dice su chatbot, y los reguladores financieros ya recopilan quejas sobre bots que dan información incorrecta o no escalan.
¿Qué debe garantizar un asistente de IA en banca? Responder con precisión desde fuentes aprobadas, no inventar políticas ni comisiones, derivar a un humano cuando corresponde, no atrapar al cliente en bucles y producir un registro auditable por conversación.
¿Qué es la “adherencia a documentos” y por qué importa en banca? Es la capacidad del agente de ceñirse a la información y políticas aprobadas del banco en lugar de “completar” con datos inventados. Es el evaluador más crítico en este sector, porque distingue un asistente confiable de un pasivo legal.
¿Cómo se prueba que un agente bancario deriva a un humano cuando debe? Con casos diseñados para forzar el escalamiento —consultas sensibles o pedidos explícitos de hablar con una persona— midiendo la tasa de derivación correcta.
¿El testing de IA ayuda con el cumplimiento regulatorio en banca? Sí. La evaluación sistemática y trazable produce la evidencia que marcos como el EU AI Act y las regulaciones sectoriales emergentes exigen. No reemplaza la asesoría legal, pero es el cimiento de la conformidad.
Product Manager de ArtificialQA en QAlified, con más de 15 años en testing y automatización de software. Trabaja en la intersección entre calidad e IA: diseña y evalúa enfoques para probar sistemas no deterministas y asegurar su comportamiento en producción.
