Informes y métricas — Apuntes CTAL-TAE v2.0 (capítulo 6)

Recogida de datos durante la ejecución

Registrar por ejecución: identificador, versión del SUT, entorno, datos usados, duración, resultado y evidencias.
Evidencias útiles ante fallo: log estructurado, captura de pantalla, vídeo o traza, petición y respuesta en pruebas de API.
Niveles de log adecuados: demasiado log oculta la señal, muy poco impide diagnosticar.
La recogida debe ser automática y uniforme: si depende de que alguien la active, no existe.
Nunca registrar credenciales ni datos personales en claro.

Métricas de automatización

De progreso: número de casos automatizados, cobertura de requisitos o de riesgos cubierta por la suite.
De calidad de la suite: tasa de fallos falsos, tasa de flakiness, tiempo medio de reparación de un test roto.
De eficiencia: duración total y por etapa, tiempo hasta el primer feedback, coste por ejecución.
De eficacia: defectos detectados por la suite, defectos escapados a producción, cobertura de código o de ramas cuando aplica.
Métricas vanidosas a evitar: "porcentaje de casos automatizados" o "número de scripts" sin relación con riesgo ni con valor.

Análisis de fallos y de logs

Triaje: clasificar cada fallo como defecto del SUT, defecto del test, problema de entorno, problema de datos o inestabilidad.
El análisis de causa raíz evita el parche repetido; sin él, la suite acumula workarounds.
Agrupar fallos con la misma causa reduce drásticamente el trabajo de análisis en suites grandes.
Técnicas asistidas por IA/ML: agrupación automática de fallos similares, detección de anomalías en los logs y priorización de pruebas.
La IA sugiere; la decisión y la responsabilidad siguen siendo del ingeniero de automatización.

Comunicación con los interesados

Informe adaptado a la audiencia: dirección quiere tendencia y riesgo; el equipo quiere detalle y evidencias.
Dashboards con tendencia temporal, no solo la foto de la última ejecución.
Publicación automática tras cada ejecución en el canal donde la gente ya trabaja.
Un informe debe permitir responder: ¿podemos liberar? ¿qué riesgo asumimos? ¿qué está degradándose?
Los gráficos deben ser honestos: incluir contexto (versión, alcance, entorno) y no ocultar pruebas excluidas o en cuarentena.

Siguiente paso

Ahora toca comprobar si se ha quedado: entra en el simulador, filtra por el capítulo 6 y haz una tanda de diez preguntas. Cada respuesta incluye la justificación completa.

El syllabus oficial completo del CTAL-TAE v2.0 se descarga gratis desde istqb.org, y los términos están definidos en el glosario oficial.