Ejecutar los tests

Modelo mental

Para ejecutar necesitas 3 piezas:

1. Una Agent Connection — el chatbot que vas a probar.
2. Una Test Suite — los casos que quieres correr.
3. Un Test Plan — la receta que combina los dos anteriores.

Una vez que tienes el Test Plan, puedes correrlo todas las veces que quieras. Cada corrida queda como un Run inmutable.

1. Configurar la Agent Connection

Ve a Configuration → AI Agents → + New Connection.

Conexión por Browser (Playwright)

Para chatbots embebidos en una página web. ArtificialQA corre Chromium headless en sus workers en la nube y lo opera como lo haría un usuario.

• Chat URL: la URL donde está el chat.
• La ejecución corre en nuestros workers en la nube en modo headless (sin ventana visible).
• Login Steps: si el chat requiere login, defines la secuencia de pasos (selector + acción) para llegar autenticado al chat.
• Selectors: dónde está el input del usuario, dónde aparece la respuesta del bot, indicador de "está escribiendo", etc.
• Timeouts: cuánto esperar la respuesta antes de marcar timeout.

Conexión por HTTP/API (plan Pro o Enterprise)

Para chatbots que exponen un endpoint propio.

• Base URL: el endpoint del agente.
• Method: GET o POST.
• Authentication: Bearer Token, API Key (en header o query) o Custom Headers.
• Request Body: el template del cuerpo del request, indicando dónde se inserta el mensaje del usuario (placeholder).
• Response Mapping: qué campo del response contiene la respuesta del bot (path tipo data.message.content).

Test Connection

Una vez guardada la conexión, usa el botón Test Connection para validarla. Manda un mensaje de prueba y muestra qué se envió y qué se recibió. Si falla, verás el error exacto (timeout, 401, selector no encontrado, etc.).

2. Armar un Test Plan

Ve a Test Design → Test Plans → New Plan. Configura:

• Name: nombre identificable (ej: "Smoke v1.4 — Producción").
• Test Suite: eliges la suite que se va a correr.
• Agent Connection: eliges contra qué agente se va a correr.
• Parallelism: cuántos casos se ejecutan en simultáneo.
• Stop on first failure: opcional, para smoke críticos.

3. Correr el Test Plan

Desde la lista de Test Plans, haz clic en Run. La plataforma ejecuta cada caso de la suite contra la conexión configurada.

Vista en tiempo real

Mientras corre verás:

• Progreso (X de N casos).
• Caso actual ejecutándose.
• Casos completados con su resultado preliminar (verde/rojo según los asserts determinísticos; los evaluadores LLM corren después).
• Tiempo transcurrido y estimado restante.

Estados del Run

• Queued — esperando worker disponible.
• Running — ejecutando.
• Ready to Evaluate — terminó la captura de respuestas. El ciclo de ejecución cerró; el siguiente paso (opcional, en otra etapa) es enviar el run a evaluación.
• Failed — algo cortó la ejecución (conexión inalcanzable, etc.).

Casos conversacionales

Cuando un caso es multi-turno, ArtificialQA mantiene la sesión con el chatbot a lo largo de todos los turnos del caso. La respuesta a cada turno se guarda y se evalúa en el contexto de la conversación.

Tokens consumidos durante la ejecución

Depende del protocolo de la conexión:

• HTTP/API: la llamada al chatbot no consume tokens del pool de ArtificialQA. Es ilimitada (dentro de los cupos de ejecución de tu plan).
• Browser (Playwright): consume tokens, porque la plataforma usa un LLM (AI Locator) para detectar dinámicamente el chat dentro de la página cuando los selectores CSS no son suficientes. Es uno de los costos a la hora de elegir entre HTTP y Browser.

Otras fases que consumen tokens, sin importar el protocolo:

• La generación con IA antes de ejecutar (si los casos los generaste así).
• La fase de evaluación con LLM (que sucede en el siguiente paso).

Snapshots inmutables (y reproducibilidad no determinista)

Cada Run guarda un snapshot completo: input enviado, headers, response crudo, tiempos y logs. Aunque después modifiques el Test Case, la Connection o la Suite, el Run conserva exactamente lo que pasó esa vez. Esto es lo que permite auditar resultados meses después.

Pero ojo con la reproducibilidad: el snapshot es inmutable, pero si vuelves a ejecutar el mismo Test Plan, las respuestas del chatbot pueden ser distintas — hay un LLM detrás del chatbot y los LLMs no son deterministas. Lo que queda fijo es lo que pasó en cada corrida específica, no lo que va a pasar en futuras corridas.

Errores comunes y cómo resolverlos

• Timeout en respuestas. Sube el timeout en la conexión. Si el chatbot tarda mucho legítimamente, ajusta la expectativa.
• Selector no encontrado (Browser). El DOM cambió. Actualiza los selectores en la conexión. La pantalla de Test Connection muestra dónde falló el flujo y los logs del Run quedan disponibles para inspección.
• 401 / 403 (HTTP). Credenciales vencidas. Renuévalas en la conexión.
• Caso "passes" cuando debería fallar. Revisa si tenías solo asserts soft. Hacelos hard si quieres que el caso falle al no cumplir.

Próximo paso

Ya tienes el Run con todas las respuestas. El próximo paso es activar los evaluadores sobre ese run.