¿Por qué mi chatbot responde distinto a la misma pregunta?

Tu chatbot responde distinto a la misma pregunta porque los modelos de lenguaje son probabilísticos, no deterministas: en lugar de elegir siempre la misma palabra, eligen la siguiente entre varias opciones probables, y esa selección puede variar de una vez a otra. No es un error ni una falla de tu configuración —es cómo funcionan estos sistemas por diseño. En la mayoría de los casos la variación es leve y las respuestas siguen siendo correctas; el problema aparece cuando la inconsistencia afecta decisiones que dependen de respuestas reproducibles.

Esto tiene nombre técnico: no-determinismo. Y entender sus causas ayuda a saber cuándo preocuparte y cuándo no.

Las causas, de la más conocida a la más sorprendente

1. El muestreo (sampling) y la temperatura. Al generar texto, el modelo predice una distribución de probabilidad sobre las posibles palabras siguientes y muestrea una. El parámetro de temperatura controla cuánta aleatoriedad se permite: más alta, más variedad y creatividad; más baja, más conservador y predecible.^[1] Otros controles como top-p y top-k también acotan entre cuántas opciones elige. Esta es la causa más conocida —y la que más se puede ajustar.

2. La sorpresa: ni siquiera con temperatura en cero queda garantizado. Acá está lo contraintuitivo. Podrías pensar que poniendo la temperatura en 0 (que el modelo elija siempre la palabra más probable) obtienes respuestas idénticas. En la práctica, no siempre es así.^[2] Durante mucho tiempo se atribuyó esto a detalles de bajo nivel (operaciones en paralelo en la GPU, errores de redondeo de punto flotante), pero investigación reciente —como la de Thinking Machines Lab— muestra que la causa es más profunda y sistemática, ligada a cómo se procesan los pedidos en lotes (batching) en la infraestructura de inferencia.^[3] La conclusión práctica: la temperatura en cero reduce la variación, pero no la elimina del todo.

3. Las actualizaciones del proveedor. Los proveedores actualizan sus servidores de inferencia, kernels y esquemas de cuantización. Estos cambios no alteran el comportamiento general del modelo, pero pueden cambiar sutilmente los detalles de cómo se ejecutan las operaciones matemáticas, y con eso, la respuesta.^[4] Por eso un chatbot que respondía de cierta forma puede empezar a responder distinto sin que vos cambiaras nada.

4. El contexto y la personalización. Si el sistema incorpora historial de conversación, personalización o recuperación de información en vivo (RAG), cada pedido parte de un contexto algo distinto, lo que naturalmente cambia la respuesta.

¿Cuándo es un problema y cuándo no?

La variabilidad no es mala en sí misma —es lo que hace que la IA suene natural y no robótica—. La pregunta es si tu caso de uso tolera esa variación:

• No es un problema en usos creativos o conversacionales, donde varias respuestas distintas son igual de válidas. “¿La capital de Francia?” respondida como “París” o “Es París, claro” son ambas correctas.
• Sí es un problema cuando la inconsistencia cambia el fondo de la respuesta, no solo la forma: si un asistente bancario da una tasa distinta cada vez, o uno de salud deriva a un médico en una consulta pero no en la misma consulta repetida, ahí la variabilidad es peligrosa.

La distinción clave: variación en la redacción es sana; variación en los hechos o en el comportamiento es un riesgo.

Qué hacer al respecto

No puedes —ni quieres— eliminar toda la variación. Lo que sí puedes hacer es medir la consistencia de tu chatbot: enviarle la misma pregunta varias veces y evaluar si las respuestas son equivalentes en lo que importa (los hechos, la decisión de derivar, el cumplimiento de la política), más allá de que cambien las palabras. Eso convierte una sospecha (“a veces responde cualquier cosa”) en un dato medible, y te dice si la inconsistencia está en la forma —tolerable— o en el fondo —a corregir.

Es lo que permite ArtificialQA: conectas tu chatbot —por URL o por API, sin código— y mides su consistencia con evaluación semántica, que reconoce cuándo dos respuestas dicen lo mismo aunque estén redactadas distinto, y cuándo realmente difieren en lo sustancial. Así sabes si la variabilidad de tu agente es la creatividad sana de un modelo o un problema que va a afectar a tus clientes.

Preguntas frecuentes

¿Por qué un chatbot de IA da respuestas distintas a la misma pregunta? Porque los modelos de lenguaje son probabilísticos: eligen cada palabra muestreando entre varias opciones probables en lugar de elegir siempre la misma. Es un comportamiento de diseño, no un error.

¿Poniendo la temperatura en cero se vuelve determinista? Reduce mucho la variación, pero no la garantiza por completo. Investigación reciente muestra que incluso con temperatura cero pueden aparecer diferencias por cómo la infraestructura de inferencia procesa los pedidos en lotes.

¿Por qué mi chatbot empezó a responder distinto sin que yo cambiara nada? Probablemente porque el proveedor del modelo actualizó su infraestructura (servidores, kernels, cuantización). Estos cambios pueden alterar sutilmente las respuestas sin modificar el comportamiento general.

¿La variabilidad de un chatbot es siempre mala? No. Variación en la redacción es sana y hace que la IA suene natural. El problema es cuando cambia el fondo —un dato, una decisión de derivar, el cumplimiento de una política—, no solo la forma.

¿Cómo sé si la inconsistencia de mi chatbot es un problema? Midiendo su consistencia: enviar la misma pregunta varias veces y evaluar, con evaluación semántica, si las respuestas son equivalentes en lo sustancial. Eso distingue la variación de forma (tolerable) de la de fondo (a corregir).