SDD contra ODD-H

La misma calidad en tres tareas reales. ODD-H costó menos en las tres, y la brecha creció con el tamaño.

Pilotos del banco del 26 y 27 de octubre de 2026: tres tareas (S, M y L), tres corridas por rama, Sonnet 5.5, orden intercalado. Cada corrida corre aislada en un sandbox y la juzga una suite oculta que el agente nunca ve.

Costo y tiempo por corrida

Cada punto es una corrida; la raya vertical, el promedio de la rama. Un punto hueco es una corrida que no pasó toda la suite oculta. La escala es logarítmica porque la tarea L cuesta unas cuarenta veces más que la S.

Costo por corrida, en dólares

SDDODD-H

Tiempo de reloj por corrida, en minutos

SDDODD-H

Resultados por tarea

Tarea	Rama	Resueltas	Regresiones	Costo medio	Reloj medio	Turnos	Rescates

Ver las 18 corridas

Tarea	Corrida	Suite oculta	Regresiones	Costo	Reloj	Turnos	Rescates

Las tareas:

S, mcparca-token-cache-dir. Directorio de caché de tokens configurable por variable de entorno en MCPArca (Python). 7 tests discriminantes.
M, mcparca-list-vouchers. Una tool MCP nueva con el historial local de comprobantes. 8 discriminantes, pedido ambiguo.
L, awb-record-replay-flows. Grabar y reproducir flows en AgenticWebBrowser (Swift), unas 470 líneas fuera de tests. 6 discriminantes. El pedido supera las 40 líneas y trae strings exactos.

Qué se vio

Calidad

17 de 18 corridas resolvieron la suite oculta entera, sin regresiones. La única que no fue SDD en la tarea M: devolvió el error suelto en lugar del formato {"error": ...} que pedía el prompt. Es un fallo real, no del banco.

Costo

La diferencia es la ceremonia, no la calidad. En S y M, SDD paga crear la tarea en Meridian; en L, la ruta completa de requirements, spec, breakdown y un code review por tarea. En L, SDD hizo 7 commits y lanzó entre 6 y 7 revisores por corrida.

S y M

Ninguna rama ejerció su método. ODD-H trabajó inline en las seis corridas, que es lo que manda el protocolo para pedidos así: sin documento, sin ledger, sin gates. SDD pasó por code review en una de tres corridas en cada tarea.

L

ODD-H abrió documento en las tres, por spec larga, y cerró con odd close. Pero en las tres terminó la primera invocación sin commitear: hizo falta un empujón del runner, alrededor de la mitad de su costo, y no pusheó nunca.

Varianza

ODD-H fue más estable: en cada tarea, sus tres corridas quedan casi en el mismo punto. SDD varió más del doble en S, de US$0,16 a US$0,35.

Cómo se midió

Aislamiento. Cada corrida corre bajo sandbox-exec: sin lectura de otros repos ni de ~/.claude, red solo a la API y a Meridian por un proxy con lista de hosts, y el plugin en solo lectura.
Suite oculta. Al terminar, el verificador restaura los tests de ref y corre la suite completa dentro del mismo sandbox. Cuenta solo los tests discriminantes: los que fallan en base y pasan en ref.
Regresiones. Tests estables en base y en ref que dejan de pasar. Un test borrado o salteado cuenta; uno inestable o dependiente del orden, no.
Rescates. Empujones del runner cuando el agente para sin terminar, separados de las confirmaciones del guion de SDD.
Neutralidad. Sin trailer de atribución en ninguna rama y con el contexto global sin las reglas de dónde va cada cosa, que favorecían a SDD.

Las corridas están archivadas en bench/results/ de AgenticDevelopmentLab; el detalle de cada decisión, en el reporte de revisión del banco en Meridian.

Qué no dice

N=3 por rama y tarea. Alcanza para ver patrones, no para estadística: todo se reporta como k/N, sin p-valores.
Un solo modelo, Sonnet 5.5, y todo el costo de las dos ramas salió de ese modelo.
Dos repos, del mismo autor, y una sola tarea L. En L, la ruta de SDD se confunde con la técnica.
En S y M no se comparan métodos. Se compara un cambio chico más el sobrecosto de cada ritual.
El primer piloto L se descartó. La suite oculta suponía detalles de interfaz que el prompt no decía; se corrigió el prompt y se volvió a correr entero.

Abierto. Para ejercer ODD-H en tareas más chicas, falta decidir si cada tarea trae su risk.yml o si la clasificación inline se mide como parte del método. También, si commitear y pushear es un defecto del protocolo de ODD-H o algo que el prompt del banco tiene que pedir a las dos ramas.

Datos de bench/results/ en AgenticDevelopmentLab: run.json y verify.json de cada corrida.