Cómo medir las alucinaciones de tu chatbot y reducirlas

Tu chatbot inventa cosas. No es una posibilidad: es una certeza estadística. Incluso en producción, los modelos de lenguaje fabrican información a tasas que suelen reportarse entre el 3% y el 20% en tareas mixtas, y más alto en casos borde o dominios poco cubiertos.^[1] La pregunta útil no es si alucina, sino cuánto —y eso solo se sabe midiéndolo—. Esta guía te muestra cómo medir la tasa de alucinaciones de tu chatbot y, después, cómo bajarla.

El orden importa: primero mides (para tener una línea de base), después aplicas tácticas de reducción, y vuelves a medir para confirmar que mejoraste. Sin la medición, estás optimizando a ciegas.

Paso 1 — Define qué cuenta como alucinación en tu caso

Antes de medir necesitas un criterio claro. Una alucinación es una afirmación que es falsa o que no está respaldada por las fuentes que el sistema debería usar. Esa segunda parte es clave: en un chatbot que responde desde la documentación de tu empresa, una respuesta puede ser “cierta en el mundo” pero igualmente una alucinación si no surge de tus fuentes aprobadas. Define cuál de las dos te importa —precisión factual general, fidelidad a la fuente, o ambas— porque eso determina cómo vas a evaluar.

Paso 2 — Diseña casos de prueba que las expongan

Las alucinaciones no aparecen parejo: se disparan en situaciones específicas. Tus casos de prueba tienen que buscarlas a propósito, no solo cubrir lo fácil. Incluí:

• Preguntas sobre datos concretos (cifras, fechas, políticas, condiciones) cuya respuesta correcta conoces y puedes verificar.
• Preguntas fuera de alcance o ambiguas, donde el modelo tiene “demasiada libertad” para inventar —un prompt vago es una de las causas directas de alucinación.^[2]
• Casos de dominio especializado o poco frecuente, donde el modelo tiene menos señal y tiende a rellenar.
• Preguntas capciosas que asumen un hecho falso, para ver si el modelo lo corrige o lo sigue.

Prioriza la cobertura sobre el volumen: 50 casos bien elegidos que apuntan a tus riesgos reales valen más que 500 genéricos.

Paso 3 — Mide con un evaluador de alucinaciones

Acá es donde obtienes el número. Como las respuestas son texto libre, no puedes compararlas palabra por palabra; se usa un evaluador —típicamente un juez de IA (LLM-as-a-judge)— que compara cada respuesta contra la fuente o la respuesta esperada y determina si hay invención. Las métricas que vas a ver:

• Tasa de alucinación: qué porcentaje de respuestas contienen una afirmación no respaldada. Es tu número de cabecera.
• Groundedness (fundamentación): qué tan anclada está la respuesta en el contexto recuperado, en sistemas con RAG.
• FActScore: para respuestas largas, descompone el texto en hechos atómicos y mide qué fracción está respaldada por una fuente confiable.^[3]

Un detalle que no es menor: el evaluador también puede equivocarse. Por eso conviene medir la precisión del propio detector (¿está sobre-marcando alucinaciones que no lo son?) y, idealmente, usar un juez calibrado contra criterio humano —si no verificas al evaluador, no sabes si tu tasa de alucinación es real o un artefacto del juez.

Paso 4 — Aplica las tácticas de reducción

Con la línea de base medida, atacas el problema. Las palancas, de mayor a menor impacto:

1. Anclar a fuentes con RAG. Es la mitigación más efectiva: hacer que el modelo recupere documentos confiables antes de responder, en lugar de “recordar”. Distintos reportes de producción indican que RAG por sí solo reduce las alucinaciones aproximadamente entre 40% y 71%, y combinado con guardrails puede llegar mucho más alto en arquitecturas bien hechas.^[4] Pero RAG es tan bueno como lo que recupera: si trae documentos pobres o desactualizados, el problema vuelve.
2. Sumar guardrails de fundamentación. Módulos que revisan la respuesta antes de mostrarla y bloquean o editan afirmaciones sin respaldo. Verifican que cada afirmación esté soportada por la fuente; lo nuevo que no lo esté se marca como no fundamentado.^[5]
3. Mejorar los prompts con foco en grounding. Instrucciones de sistema que exigen explícitamente apoyarse en el contexto y citar la fuente reducen el “adivinar libre”. Acotar el alcance y dar contexto específico —“resumí el informe Q2 2025” en vez de “contame del último proyecto”— le quita al modelo la libertad de inventar.^[2:1]
4. Verificación posterior (self-verification). Técnicas donde el modelo genera la respuesta y después revisa cada afirmación contra el contexto, en una segunda pasada.^[5:1]
5. Diseñar para el “no sé”. Un sistema que puede abstenerse o pedir aclaración ante la incertidumbre es más confiable que uno que siempre responde.

Una expectativa honesta: ninguna de estas lleva la tasa a cero. Mientras el modelo sea probabilístico, una porción de alucinación es estructural. El objetivo es bajarla a un nivel tolerable para tu caso —y mantenerla ahí.

Paso 5 — Monitorea en el tiempo

La tasa de alucinación no es fija: cambia cuando el proveedor actualiza el modelo, cuando se desactualiza tu base de conocimiento o cuando cambian las consultas. Por eso la medición no es un evento previo al lanzamiento sino un proceso continuo. De hecho, una recomendación del sector es destinar entre el 30% y el 40% del tiempo de un proyecto de IA específicamente a probar y mitigar alucinaciones —no es overhead, es parte central del trabajo.^[6] Reutiliza tus casos como prueba de regresión: cada vez que cambies algo, vuelves a correrlos y confirmas que la tasa no empeoró.

Cómo lo resuelve ArtificialQA

Sostener este ciclo —medir, reducir, volver a medir, monitorear— a mano es inviable. ArtificialQA conecta a tu chatbot —por URL o por API, sin escribir código— y lo somete a un evaluador de alucinaciones que mide, sobre tus casos representativos, cuándo la respuesta se aparta de la verdad o de la fuente. Como sus jueces están calibrados, la tasa que obtienes es confiable y no un número opaco; y como puedes reejecutar los mismos planes, mides el efecto de cada táctica de reducción y vigilas la degradación en el tiempo.

El resultado es que dejas de adivinar cuánto inventa tu agente y empiezas a gestionarlo con un número. Porque con las alucinaciones la pregunta nunca es si van a ocurrir —van a ocurrir—, sino cuántas estás dispuesto a tolerar, y si lo vas a descubrir vos en una prueba o tu cliente en producción.

Preguntas frecuentes

¿Cómo se mide la tasa de alucinación de un chatbot? Diseñando casos de prueba que expongan invenciones (datos concretos, preguntas ambiguas, dominio especializado) y evaluando las respuestas con un detector —típicamente un juez de IA— que las compara contra la fuente o la respuesta esperada. La métrica de cabecera es el porcentaje de respuestas con alguna afirmación no respaldada.

¿Cuál es la mejor forma de reducir las alucinaciones? Anclar las respuestas a fuentes confiables con RAG es la táctica de mayor impacto (reduce aproximadamente entre 40% y 71% según el caso). Se complementa con guardrails de fundamentación, prompts con foco en grounding, verificación posterior y diseñar el sistema para que pueda decir “no sé”.

¿RAG elimina las alucinaciones? No del todo. Las reduce de forma significativa al anclar la respuesta a documentos reales, pero es tan bueno como lo que recupera: si la recuperación falla o trae datos pobres, el modelo vuelve a inventar. Mientras el modelo sea probabilístico, una porción es estructural.

¿Qué es la groundedness o fundamentación? Es la medida de cuán anclada está una respuesta en el contexto recuperado, en sistemas con RAG. Una respuesta bien fundamentada se apoya en la fuente; una afirmación nueva que no surge del contexto se considera no fundamentada.

¿Cada cuánto hay que medir las alucinaciones? De forma continua. La tasa cambia cuando se actualiza el modelo, la base de conocimiento o las consultas, así que conviene monitorear en producción y reutilizar los casos como prueba de regresión ante cada cambio.