Medir una mejora: contra qué se compara un resultado nuevo

Cuando cambiamos algo —un lector nuevo para un portal, una política de reintentos, una fuente agregada al conjunto— la medición siguiente da distinto de la anterior. Casi siempre parece mejor: más actas encontradas, menos errores, menos consultas incompletas. El problema es que “mejor” no es una propiedad de un número: es una propiedad de una comparación, y la comparación casi nunca viene declarada.

Antes de decir que algo mejoró fijamos el término de comparación: contra qué medición concreta se contrasta el resultado nuevo. Sin ese término, una cifra más alta sólo prueba que pasó el tiempo entre dos observaciones.

Esta nota trata de esa elección previa. No de cómo se calcula el aporte de una fuente ni de cómo se versiona una corrección, sino del paso anterior a ambos: contra qué se mide.

Cuatro comparaciones posibles, cuatro preguntas distintas

La corrida anterior en producción responde “¿qué cambió desde ayer?”. Es la comparación más fácil de armar y la más contaminada: entre las dos mediciones también cambiaron los portales, las patentes consultadas y la actividad de cada jurisdicción.

La versión anterior del código sobre un conjunto congelado de respuestas guardadas responde “¿qué cambió por decisión nuestra?”. Aísla bien el software, pero no dice nada sobre cómo se comporta la fuente hoy.

Una lectura manual de la fuente oficial responde “¿el resultado es correcto?”. Es la única comparación que puede arbitrar, porque la referencia no somos nosotros: es el organismo. La consulta oficial de infracciones sigue siendo el canal que define qué figura y con qué estado.

Otro proveedor responde “¿quién muestra más?”, que no es la misma pregunta. Dos servicios pueden consultar conjuntos de fuentes distintos; una diferencia de cantidad no prueba una diferencia de calidad.

Una sola variable por medición

Si en la misma semana cambian el lector de un portal y la política de reintentos, el resultado nuevo ya no se puede atribuir. Movemos una cosa por vez y dejamos fija la definición de todo lo demás: qué cuenta como consulta completa, qué cuenta como “sin resultados”, qué patentes entran y qué período se toma.

La cohorte también tiene que ser la misma. Comparar el mes con más consultas contra el mes anterior mide, sobre todo, quién consultó.

Lo que sube el número sin que nada haya mejorado

Hay causas frecuentes de mejoras aparentes:

• la fuente publicó actas atrasadas y el aumento es del organismo, no del lector;
• una respuesta con error empezó a contarse como resultado vacío;
• cambió la mezcla de jurisdicciones consultadas en el período;
• la ventana nueva incluye una temporada con más actividad de control.

El segundo caso merece atención. La semántica de HTTP separa el fallo del servidor de una respuesta correcta con contenido vacío; si esa distinción se pierde al contar, un problema se convierte en una estadística amable. Por eso separamos error, ausencia de deuda y fuente no consultada antes de sumar cualquier cosa.

El criterio se fija antes de ver el resultado

Declaramos de antemano qué se mide, sobre qué conjunto, con qué umbral y qué contaría como retroceso. Si el criterio se define después, cualquier movimiento se puede narrar como éxito eligiendo el corte conveniente.

Ese criterio incluye el umbral de publicación: no publicamos un agregado con menos de cien casos comparables. Con pocas observaciones, la diferencia entre dos corridas suele ser ruido.

También incluye la dirección. Una mejora de cobertura que empeora la exactitud no es una mejora: es un intercambio, y se informa como tal.

Qué revisar antes de aceptar una mejora

Verificá que las dos mediciones usen la misma definición de consulta completa; que el conjunto de casos sea equivalente; que el cambio esté aislado; que el resultado se haya contrastado contra la fuente oficial y no sólo contra la versión anterior; y que quede registrado qué código, qué fuente y qué momento produjeron cada número.

Ese registro es lo que permite volver. Un modelo de procedencia —qué se produjo, mediante qué actividad y bajo qué responsable— y una publicación con período, denominador y exclusiones explícitos hacen que la mejora sea revisable por alguien que no participó de la medición.

Una comparación bien armada sostiene una afirmación acotada: en este conjunto, en este período y contra esta referencia, el resultado fue distinto en esta dirección. No sostiene que vaya a repetirse el mes que viene, ni convierte una diferencia observada en una promesa.

Preguntas frecuentes

¿Alcanza con comparar el resultado de hoy contra el de ayer?

Sirve como señal, no como prueba. Entre dos corridas también pueden haber cambiado el portal, las patentes consultadas y la mezcla de jurisdicciones. Esa comparación responde qué cambió desde ayer, no si el cambio lo produjimos nosotros.

¿Encontrar más actas siempre significa mejor cobertura?

No. El aumento puede venir del organismo, que publicó actas atrasadas, o de un conteo distinto que empezó a tratar errores como resultados vacíos. Antes de sumar hay que separar error, ausencia de deuda y fuente no consultada.

¿Contra qué se verifica si un resultado nuevo es correcto?

Contra la fuente oficial. Nuestra versión anterior sirve para detectar diferencias, pero no puede arbitrar: la referencia es el canal del organismo, consultado con los mismos datos y en una ventana cercana a la medición.

Notas relacionadas