Cómo se usa

Evaluar las respuestas

Las dos capas de evaluación y los 17 evaluadores LLM calibrados que puntúan cada respuesta de tu chatbot.

Las dos capas de evaluación

Cada respuesta del chatbot pasa por dos filtros independientes:

🔧

1. Asserts determinísticos

Verificaciones programáticas: contains, regex, JSON Schema, response_time, etc. No usan IA. Son baratas, instantáneas y reproducibles 100%.

🧠

2. Evaluadores LLM

Un modelo califica cada respuesta en una dimensión específica. Devuelven score 0–1 (decimal) + justificación textual. 17 evaluadores calibrados.

Las dos capas son complementarias:

Si tu test case requiere que la respuesta contenga un número de orden, eso es un assert determinístico (regex). No necesita IA.
Si tu test case requiere que la respuesta sea empática, eso lo califica un evaluador LLM (empathy). No se puede medir con regex.

Los 17 evaluadores LLM

Cada evaluador es un prompt afinado más un modelo. Devuelven internamente un score decimal entre 0 y 1, que la plataforma te muestra en pantalla como porcentaje (0–100%), junto con una explicación textual.

Slug	Qué mide
comparison	Comparación entre la respuesta obtenida y la respuesta esperada (similitud semántica).
completeness	Si la respuesta cubre todo lo que pide la pregunta.
conciseness	Si la respuesta es lo suficientemente breve sin perder lo esencial.
formality	Adecuación del registro formal/informal al contexto.
bias	Presencia de sesgo (de género, racial, etario, etc.).
tone	Tono apropiado al canal y al usuario.
empathy	Nivel de empatía cuando el usuario expresa frustración o vulnerabilidad.
security	Riesgos de seguridad (filtración de datos, prompt injection, etc.).
inappropriate_content	Contenido inapropiado, ofensivo o fuera de scope.
error_handling	Cómo maneja errores, ambigüedad del usuario o inputs inesperados.
ambiguity	Si la respuesta resuelve o introduce ambigüedad.
fluency	Naturalidad y fluidez del lenguaje.
data_accuracy	Exactitud de los datos puntuales mencionados (precios, fechas, números).
hallucination	Información inventada o no respaldada por contexto.
escalation	Si escala correctamente a humano cuando corresponde.
language	Que la respuesta esté en el idioma esperado.
consistency	Coherencia interna y a lo largo de la conversación.

Cómo se evalúa una corrida

Después de ejecutar un Test Plan, el Run queda en estado Ready to Evaluate. Para evaluar:

Ve a Execution → Evaluations.
Selecciona el Run.
Clic en Evaluate.
Elige qué evaluadores activar (no necesariamente todos los 17 — usa los que tengan sentido para tu dominio).
Clic en Start Evaluation.

Cada respuesta del Run se le pasa a cada evaluador seleccionado, en paralelo. Cuando termina, el Run pasa a estado Evaluated y el reporte queda disponible.

💰 Tokens. La fase de evaluación consume tokens del pool de tu plan. Cuanto más evaluadores activos × más respuestas a evaluar, más consumo.

Score por evaluador y umbral pass/fail

Cada evaluador tiene un umbral configurable que define a partir de qué score se considera "pass" para ese evaluador. Por default cada evaluador trae un threshold razonable; tú puedes ajustarlo desde Configuration → Evaluators/Judges (por evaluador, a nivel organización).

Evaluation Report con scores por evaluador — Vista de evaluación — pass rate, threshold, performance por test case y un círculo por cada uno de los 17 evaluadores (Consistency 100%, Inappropriate Content 100%... Hallucination 16%).

Cada respuesta + cada evaluador genera:

Score decimal entre 0 y 1 (internamente). En pantalla lo ves como porcentaje (0–100%).
Justificación textual: por qué el modelo dio ese puntaje.
Pass/Fail según el umbral configurado para ese evaluador en Configuration → Evaluators/Judges.

Los evaluadores vienen calibrados

Un evaluador LLM no es confiable por default — distintos modelos, prompts y temperaturas dan puntajes distintos. Por eso, los 17 evaluadores que usas en ArtificialQA vienen pre-calibrados por nuestro equipo: validamos cada uno contra datasets de referencia para garantizar que sus scores sean confiables y consistentes. Tú no tienes que calibrar nada — viene listo para usar.

Más detalle del proceso de calibración interna en Seguridad y compliance.

Detección automática de PII

Independiente de los evaluadores LLM, ArtificialQA detecta automáticamente PII (información personal identificable) en las respuestas:

Emails.
Teléfonos.
Documentos de identidad.
Tarjetas de crédito.

Si una respuesta contiene PII donde no debería, queda marcada como observación crítica en el reporte.

Cuándo usar qué evaluador

Como referencia y a modo de orientación, estos son combos típicos por dominio. No son obligatorios ni exclusivos — tú eliges qué evaluadores activar según las dimensiones que te importen para tu chatbot:

Customer support general: empathy, tone, completeness, escalation, hallucination.
Salud / finanzas / legal: data_accuracy, hallucination, security, inappropriate_content, escalation.
E-commerce: data_accuracy, completeness, conciseness, language.
FAQs / informativos: comparison, completeness, fluency, language.
Casos críticos: security, hallucination, bias suelen ser una buena base.

Puedes combinar de cualquier manera, e ir ajustando con la experiencia de tus primeras corridas.

Re-evaluar y Score Overrides

Sobre un mismo Run puedes correr varias evaluaciones a lo largo del tiempo — con distintos evaluadores activos, o simplemente para volver a calificar. Cada evaluación queda guardada como snapshot independiente. Como hay un LLM detrás de cada evaluador, dos evaluaciones del mismo run pueden dar scores distintos.

Si no estás de acuerdo con un score puntual, puedes editarlo manualmente (Score Override). La plataforma marca el score como "modificado", conserva el original en el historial y registra quién, cuándo y por qué. La auditoría queda intacta. El listado de todos los overrides está en Execution → Score Overrides.

Próximo paso

Una vez evaluado el Run, lo siguiente es interpretar los resultados. Eso lo cubre la sección de Reportes y dashboard.