Ho lanciato un modello locale su un compito semplice. Quaranta minuti dopo, zero righe scritte.
Non si era bloccato. Stava pensando. Solo che non si è mai fermato per farlo davvero.
Cosa avevo prima
Il lanciatore che usavo da mesi orchestrava tre modelli diversi — uno in cloud per i compiti veloci, uno locale per quelli che non devono uscire da casa, uno per fare da revisore. Funzionava, finché un aggiornamento del modello cloud ha rotto qualcosa nel modo in cui il lanciatore gestiva le risposte — errore secco, niente scritto.
Il modello locale, invece, non si rompeva. Semplicemente non finiva mai. Zero output, minuti che passavano.
Il problema vero
Non era un bug da sistemare. Ho controllato quanto contesto il lanciatore portava con sé a ogni turno, prima ancora di iniziare a lavorare: diecimila token, quasi tutti spesi per ricordare al modello chi fosse e come comportarsi. Poche centinaia bastavano per il compito vero.
Un modello piccolo, con diecimila token di zavorra a ogni giro, non pensa di più. Si perde di più.
Il cambio
Ho sostituito il lanciatore con uno più leggero, stesso principio — io scrivo cosa serve, lui sceglie il modello e orchestra la sequenza — ma il contesto di partenza è un decimo.
L'ho provato sugli stessi tre modelli di prima. Tutti e tre hanno scritto codice vero, non solo pensato: quello cloud, quello locale, quello revisore.
Il numero che conta
Il modello locale che prima impiegava quaranta minuti per non scrivere niente, con il lanciatore nuovo scrive in meno di quattro.
Stesso modello. Stesso hardware. Sei volte meno peso da portarsi dietro a ogni turno.
Il punto
Non ho cambiato il cervello. Ho cambiato quanto bagaglio porta ogni volta che parte.
A volte il collo di bottiglia non è quanto è intelligente lo strumento. È quanto gli fai portare in tasca prima ancora di iniziare.
Alessio Cappuccio — xyz.vision