Encuentra el modelo más barato que aún entrega tu proyecto paralelo

Abres el agente un fin de semana, pegas una pequeña funcionalidad y lo ves usar un modelo de frontera. La pregunta es si el modelo más barato que aún entrega es suficiente.

Cognition lanzó SWE-2 el 10 de septiembre en Devin Desktop y CLI. SWE-2 se construyó sobre Kimi K3, un modelo de mezcla de expertos de 2,8 billones de parámetros de Moonshot AI.

En FrontierCode 1.1 Main, un benchmark de código, SWE-2 obtuvo 50,0 %, 0,9 puntos porcentuales por debajo del 50,9 % de Fable 5.1, mientras que el modelo se reportó 64 % más barato. En Terminal-Bench 4, SWE-2 obtuvo 27,3 %, en comparación con el 55,8 % de Fable 5.1 y el 57,9 % de GPT-6 Astra.

El modelo más barato es el que supera tu umbral

La mayoría de los proyectos paralelos se quedan como proyectos paralelos, y está bien. Para un proyecto paralelo de fin de semana, el mejor agente de código es el que supera el umbral mínimo de capacidad para la tarea que realmente necesitas terminar. El umbral es una prueba práctica: el conjunto más pequeño de ediciones, pruebas y explicaciones que te permite desplegar algo que no borrarías a la mañana siguiente.

Un empate técnico en un benchmark no es una decisión para tu proyecto. Úsalo para decidir qué tareas vale la pena probar con el modelo más barato. Empieza con una tarea que ya hayas entregado una vez, porque te da una comparación limpia y repetible de antes y después.

Tu tarea decide. Un pequeño endpoint de API, una prueba que falla y una nota en el README pueden superar el umbral con un modelo más barato, mientras que un flujo de trabajo de terminal de múltiples pasos puede atascar al mismo modelo. Elige el modelo o combinación más barato que aún supere el umbral, no el que gana el benchmark. Registra el gasto del modelo por separado de tu suscripción, para que puedas ver qué parte del costo cambia.

El costo real incluye tu tiempo de edición

El gasto en el modelo es solo parte de la cuenta. SWE-2 medium realizó su primera edición real de código tras una mediana de 18 pasos, en comparación con 48 pasos para SWE-1.7. En FrontierCode 1.1 Main, SWE-2 medium superó a SWE-1.7 usando 58 % menos de turnos e incurriendo en un 81 % menos de costo promedio. Para un constructor de fin de semana, menos turnos pueden importar más que una pequeña diferencia en el benchmark, porque tu atención es el recurso escaso.

El precio por sí solo no es prueba de capacidad. Un modelo puede ser barato y aun así producir ediciones que necesiten más limpieza que el caro. Si el modelo más barato ahorra dinero pero añade tiempo de revisión, no has reducido el costo total. Anota el tiempo de revisión antes de cambiar, para que la advertencia se convierta en datos.

Un agente de fin de semana necesita una línea base de costos mantenida

• Define la tarea entregable más pequeña. Estás listo cuando la prueba pasa y el endpoint devuelve el JSON esperado.
• Mide el costo por tarea entregada. Hecho significa un número: gasto en el modelo más minutos de edición, para una tarea repetible.
• Vuelve a establecer la línea base tras cada cambio de modelo o combinación. El resultado es una nota: modelo anterior, modelo nuevo, misma tarea, costo total menor o mayor.

Mantén un pequeño registro de la última tarea que entregaste, el modelo usado, el número de ediciones que aceptaste y el tiempo que dedicaste a corregir lo que omitió. Cuando aparezca un modelo nuevo, ejecuta la misma tarea, no una nueva. Cambia cuando el modelo nuevo supere el umbral con menos costo total. Mantén la configuración anterior y anota por qué cuando no lo supere. Para varios tipos de tareas, mantén una línea base por tipo en lugar de un promedio.

Devin Pro cuesta $20 al mes e incluye el uso de SWE-2 sin cargo adicional hasta el 10 de octubre de 2026. El precio empaquetado puede hacer que un modelo parezca una actualización fácil, pero la línea base sigue importando. Cuando el modelo empaquetado no es el adecuado para tu tarea, la cuota mensual no es el único costo que estás pagando.

Mantén la nota lo suficientemente corta para que realmente la actualices cuando importe.