Sostingut Lab: mesurar abans d’entrenar

Per què un laboratori propi

Quan una empresa pregunta si li convé entrenar un model, la resposta honesta gairebé sempre és «depèn». Sostingut Lab existeix per convertir aquest «depèn» en una mesura: amb quin model, amb quines dades i amb quin resultat.

El vam construir per a nosaltres, i és la base del nostre servei de models locals: el mètode que fem servir per decidir és el mateix que lliurem al client, amb els seus números.

El mètode, en set passos

Definim la tasca i el criteri d'èxit. Mesurem una referència: una regla senzilla o el sistema actual. Muntem un banc de preguntes amb l'origen de cada resposta, validat per una persona.

Calibrem el jutge: si un model puntua les respostes, abans comprovem amb una mostra a cegues que coincideix amb una persona. I comparem opcions: models oberts en local i comercials, amb i sense documents.

Només entrenem si la comparativa mostra una diferència que els documents no tanquen. Al final, un informe i una fitxa tècnica a l'estil del Reglament europeu d'IA, amb una nova avaluació cada mes.

Sense una referència mesurada no hi ha entrenament.

El primer cas: preguntes en català sobre normativa pública

Per provar el mètode sense dades de ningú, treballem amb les ordenances i els reglaments públics de Tortosa, que qualsevol pot descarregar: 75 documents, 528 pàgines i 1,5 milions de caràcters, desats amb el seu origen i la seva empremta.

Les preguntes només es poden respondre citant un passatge concret, i una de cada nou no té resposta als documents. Així també mesurem si el model sap dir «no ho sé».

La comparativa enfronta models oberts que funcionen en local, com Qwen i Salamandra, amb un model comercial, cadascun amb i sense cerca als documents. Guanya qui encerta i sap callar quan no té la resposta, no qui sona més convincent.

Qui jutja el jutge

Puntuar centenars de respostes a mà no escala, així que un model fa de jutge. Però un jutge sense calibrar només afegeix soroll amb aparença de rigor.

Per això el jutge mai no competeix, i el seu acord amb una persona es mesura amb una mostra etiquetada dues vegades a cegues abans de fiar-nos de les seves notes.

Per on viatgen les dades

Les dades públiques poden passar per qualsevol model. Les internes, preferiblement per models locals. Les de clients o personals, només per models locals o per proveïdors amb servidors a la UE i contracte d'encàrrec.

Cada resposta de referència guarda el seu origen, qui la va validar, quan i amb quina confiança. El que redacta un model queda marcat com a sintètic i mai no entra en un conjunt d'entrenament.

Quan entrenem, i com

L'escala és sempre la mateixa: primer una regla, després la cerca en documents, després un model de llenguatge i, només si els números ho justifiquen, un model entrenat.

Per entrenar fem servir QLoRA sobre models oberts com Salamandra en una GPU pròpia, i una GPU llogada per a models més grans quan la comparativa mostra una diferència per tancar, sempre dins d'un límit de despesa. Per classificar amb poques dades, SetFit; per a dades tabulars, arbres de decisió potenciats.

Què surt del laboratori

Cada comparativa produeix un informe que no s'edita a mà: taxa d'encert amb intervals de confiança per bootstrap, contrastos aparellats amb la prova de McNemar, latència i cost de cada execució.

Amb l'informe va una fitxa tècnica amb les dades utilitzades, com es va avaluar i on falla el model, pensada per a l'inventari de sistemes d'IA del client.

Els informes diuen també el que no es pot concloure: amb poques preguntes els intervals són amples, i ho diem.

Tecnologies

• Python i FastAPI per a l'API del laboratori
• PostgreSQL amb pgvector
• React per al tauler
• Ollama i llama.cpp per als models locals
• Unsloth per a QLoRA
• Bootstrap i McNemar per a l'estadística