Un laboratori d'IA que s'executa al teu navegador

Demos de machine learning amb les seves xifres reals, que s'executen al teu dispositiu sense enviar res a cap servidor.

Quan una empresa em pregunta si la intel·ligència artificial li serveix, la resposta honesta gairebé mai no cap en una presentació. Cal veure-la funcionar amb dades de veritat, veure on encerta i, sobretot, on falla. Per això vaig muntar el Laboratori: una col·lecció de models que s'executen sencers al teu navegador, sense cap servidor pel mig.

Què hi ha a dins

Cada demo és un model real amb la seva fitxa: amb quines dades es va entrenar, quant encerta i en quines condicions es va mesurar.

• [Provador](/laboratorio/probador). Dibuixes una peça de roba o l'ensenyes a la càmera i tres arquitectures diferents (una xarxa densa, una convolucional i un vision transformer) diuen què hi veuen. La convolucional encerta el 93,2 % de les imatges del conjunt de prova de Fashion-MNIST, davant del 87,7 % de la xarxa densa. També ensenya el mapa de calor d'on es fixa el model i en quin veïnat de l'espai latent cau el teu dibuix.
• [Veu](/laboratorio/voz). Un model de 73.004 paràmetres reconeix deu paraules en anglès, el silenci i «una altra paraula». Encerta el 97,1 % al conjunt de prova de Speech Commands i el 94,8 % quan s'hi afegeix soroll de fons. Amb ell mous una serp amb la veu i pots comprovar com t'entén l'accent.
• [Detecció](/laboratorio/deteccion). Vuitanta tipus d'objecte des de la càmera, amb seguiment entre fotogrames, un comptador de pas per línia i un desenfocament de privadesa. Fa servir D-FINE-N, un detector d'uns quatre milions de paràmetres amb llicència Apache 2.0. El seu mAP a COCO és 0,428; aquesta xifra és la de la fitxa de l'autor, no l'he mesurada jo, i la pàgina ho diu.
• [Conducció autònoma](/laboratorio/conduccion-autonoma). Un núvol de punts de lidar amb les seves caixes 3D, la segmentació i les sis càmeres de PandaSet, amb cares i matrícules desenfocades abans de publicar-les.
• Ingredients. Un detector propi entrenat amb classes de menjar d'Open Images. Encara no està entrenat del tot, així que la seva pàgina diu «en preparació» i no s'indexa.

Per què al navegador

Els models es descarreguen una vegada des d'aquest domini i la inferència corre al teu dispositiu amb ONNX Runtime Web: a la targeta gràfica si el navegador té WebGPU, i si no, al processador amb WebAssembly. La càmera, el micròfon i les fotos que facis servir no surten del teu navegador.

Hi ha tres raons per fer-ho així:

1. Privadesa sense lletra petita. Si la imatge no surt mai del dispositiu, no hi ha res a custodiar en un servidor.
2. Cost. El servidor d'aquesta web no té targeta gràfica. Executar els models al teu equip és el que permet oferir les demos sense cobrar ni limitar-ne l'ús.
3. Honestedat. No són captures ni vídeos gravats: si un model s'equivoca amb el teu dibuix o amb el teu accent, ho veus en directe.

No es descarrega res en obrir la pàgina. Cada demo et diu quant pesa el seu model i espera que el demanis: el Provador, uns 6,7 MB; la Veu, menys de 400 KB.

El que vaig aprendre muntant-lo

Mesurar abans d'ensenyar. Cap xifra de les fitxes no està escrita a mà: surten dels fitxers de mètriques que genera cada entrenament, amb el conjunt de prova oficial avaluat una sola vegada. Quan una xifra no l'he mesurada jo, com el mAP del detector, la fitxa ho diu.

Les exportacions també fallen. Les versions ONNX publicades de D-FINE donaven resultats trencats, així que el vaig tornar a exportar des de PyTorch. Abans de publicar-lo vaig comparar les versions reduïdes (fp16 i int8) amb l'original en 46 imatges: coincideixen en pràcticament totes les deteccions.

La llicència decideix abans que la precisió. La família de detectors més coneguda té llicència AGPL, que obligaria a obrir el codi d'aquesta web. Ho explico amb detall a Dades i models que es poden fer servir en una web comercial.

Per a què serveix a un negoci

El Laboratori no és un producte: és el banc de proves on aprenc què funciona fora d'una diapositiva. La detecció amb càmera, per exemple, és la base de coses molt concretes en una nau o un magatzem: comptar, avisar que una cosa és on no hauria de ser o anonimitzar imatges abans de desar-les. Si tens un cas així, comencem per un diagnòstic gratuït i veiem si té sentit.