Modelos locales
Desplegamos modelos abiertos en tus servidores o en una nube de la UE, los medimos con tus casos reales y, solo cuando los números lo piden, los entrenamos para tu tarea. Tus datos no salen de casa y te quedas los pesos.
Lo que cubre: Modelos abiertos, En tus servidores o en la UE, Evaluación con tus casos, Fine-tuning con LoRA y QLoRA, Catalán y castellano, Visión con tus imágenes, Te quedas los pesos, Informe de evaluación
Antes de entrenar, medimos. Muchas veces un buen modelo abierto con tus documentos basta; cuando no, lo demostramos con números y entrenamos solo lo que hace falta.
Desde una revisión de la IA que ya tienes hasta un modelo entrenado para tu tarea. Todas parten de un conjunto de evaluación con tus casos.
Rescate
Ya tienes Ollama, vLLM o LM Studio en marcha, pero no sabes cuánto acierta ni cómo mejorarlo. Lo revisamos, montamos un conjunto de evaluación con tus casos y hacemos el primer ajuste.
Despliegue
Elegimos el modelo que mejor resuelve tu tarea, lo instalamos en tus servidores o en una nube de la UE y lo dejamos funcionando dentro de tu red, con la licencia revisada.
Fine-tuning
Cuando la evaluación demuestra que un modelo con tus documentos no llega a la calidad, la velocidad o el coste que necesitas, lo entrenamos con LoRA o QLoRA sobre tus ejemplos.
Visión
Detección, conteo o clasificación entrenados con las fotos de tu operación: cultivos, defectos, piezas o tráfico. Pequeños, rápidos y capaces de funcionar sin conexión.
Es el método de Sostingut Lab, nuestra herramienta para evaluar y entrenar modelos. Cada paso deja números que puedes revisar.
Qué tiene que hacer el modelo y cuándo lo das por bueno, en tus palabras y con un umbral.
Una referencia: tu sistema actual, una regla sencilla o el modelo que ya usas. Sin referencia no hay mejora que demostrar.
Casos reales con su respuesta y su origen, validados por una persona de tu equipo.
Si un modelo puntúa las respuestas, antes comprobamos con una muestra a ciegas que coincide con una persona.
Modelos abiertos en local y, si tus datos lo permiten, alguno comercial; con y sin tus documentos.
Fine-tuning cuando la comparativa muestra una diferencia que los documentos no cierran.
Resultados con intervalos de confianza, una ficha técnica al estilo del Reglamento europeo de IA y una nueva evaluación cada mes.
No para empezar. Ajustar con QLoRA un modelo de 7 u 8 mil millones de parámetros cabe en una sola GPU de 24 GB, y se puede alquilar por horas en una nube de la UE. Solo recomendamos comprar hardware si el volumen de uso lo justifica.
Depende de la tarea. Para formato, estilo o clasificación suelen bastar unos cientos o pocos miles de ejemplos buenos. Para que el modelo aprenda conocimiento nuevo hacen falta más, y muchas veces es mejor darle tus documentos. Importa más la calidad que la cantidad.
Muchas veces sí, y por eso lo medimos primero. Entrenar compensa en tareas estables y repetidas, cuando con tus documentos no se llega a la calidad, la velocidad o el coste que necesitas.
Sí. Comparamos modelos con buen catalán, como Salamandra y ALIA, del Barcelona Supercomputing Center, o Gemma, y evaluamos en catalán con tus casos, no con impresiones.
Es el mejor punto de partida. Lo medimos tal como está, vemos dónde falla y decidimos si se arregla con las instrucciones, con la búsqueda en documentos o con un ajuste.
No, si no quieres. Trabajamos en tu infraestructura o en una nube de la UE, y los datos personales nunca van a proveedores de fuera de la UE.
Te quedas el proceso y la evaluación. Si quieres, nosotros volvemos a evaluar cada mes y reentrenamos cuando cambian tus datos o sale un modelo base mejor.
En una llamada de 30 minutos vemos qué tarea quieres resolver, qué datos tienes y si un modelo local te compensa.