Models locals
Despleguem models oberts als teus servidors o en un núvol de la UE, els mesurem amb els teus casos reals i, només quan els números ho demanen, els entrenem per a la teva tasca. Les dades no surten de casa i et quedes els pesos.
El que cobreix: Models oberts, Als teus servidors o a la UE, Avaluació amb els teus casos, Fine-tuning amb LoRA i QLoRA, Català i castellà, Visió amb les teves imatges, Et quedes els pesos, Informe d'avaluació
Abans d'entrenar, mesurem. Moltes vegades un bon model obert amb els teus documents n'hi ha prou; quan no, ho demostrem amb números i entrenem només el que cal.
Des d'una revisió de la IA que ja tens fins a un model entrenat per a la teva tasca. Totes parteixen d'un conjunt d'avaluació amb els teus casos.
Rescat
Ja tens Ollama, vLLM o LM Studio en marxa, però no saps quant encerta ni com millorar-lo. El revisem, muntem un conjunt d'avaluació amb els teus casos i fem el primer ajust.
Desplegament
Triem el model que millor resol la teva tasca, l'instal·lem als teus servidors o en un núvol de la UE i el deixem funcionant dins la teva xarxa, amb la llicència revisada.
Fine-tuning
Quan l'avaluació demostra que un model amb els teus documents no arriba a la qualitat, la velocitat o el cost que necessites, l'entrenem amb LoRA o QLoRA sobre els teus exemples.
Visió
Detecció, recompte o classificació entrenats amb les fotos de la teva operació: conreus, defectes, peces o trànsit. Petits, ràpids i capaços de funcionar sense connexió.
És el mètode de Sostingut Lab, la nostra eina per avaluar i entrenar models. Cada pas deixa números que pots revisar.
Què ha de fer el model i quan el dones per bo, amb les teves paraules i amb un llindar.
Una referència: el teu sistema actual, una regla senzilla o el model que ja fas servir. Sense referència no hi ha millora per demostrar.
Casos reals amb la seva resposta i el seu origen, validats per una persona del teu equip.
Si un model puntua les respostes, abans comprovem amb una mostra a cegues que coincideix amb una persona.
Models oberts en local i, si les teves dades ho permeten, algun de comercial; amb i sense els teus documents.
Fine-tuning quan la comparativa mostra una diferència que els documents no tanquen.
Resultats amb intervals de confiança, una fitxa tècnica a l'estil del Reglament europeu d'IA i una nova avaluació cada mes.
No per començar. Ajustar amb QLoRA un model de 7 o 8 mil milions de paràmetres cap en una sola GPU de 24 GB, i es pot llogar per hores en un núvol de la UE. Només recomanem comprar maquinari si el volum d'ús ho justifica.
Depèn de la tasca. Per a format, estil o classificació solen bastar uns centenars o pocs milers d'exemples bons. Perquè el model aprengui coneixement nou en calen més, i moltes vegades és millor donar-li els teus documents. Importa més la qualitat que la quantitat.
Moltes vegades sí, i per això ho mesurem primer. Entrenar compensa en tasques estables i repetides, quan amb els teus documents no s'arriba a la qualitat, la velocitat o el cost que necessites.
Sí. Comparem models amb bon català, com Salamandra i ALIA, del Barcelona Supercomputing Center, o Gemma, i avaluem en català amb els teus casos, no amb impressions.
És el millor punt de partida. El mesurem tal com és, veiem on falla i decidim si s'arregla amb les instruccions, amb la cerca en documents o amb un ajust.
No, si no vols. Treballem a la teva infraestructura o en un núvol de la UE, i les dades personals mai no van a proveïdors de fora de la UE.
Et quedes el procés i l'avaluació. Si vols, nosaltres tornem a avaluar cada mes i reentrenem quan canvien les teves dades o surt un model base millor.
En una trucada de 30 minuts veiem quina tasca vols resoldre, quines dades tens i si et compensa un model local.