Tema 02: Hugging Face
Modelos fundacionales en visión artificial
Tema 2: Hugging Face
Día 1 del curso
- Web del curso
- datamecum.sergiovillanuevalopez.com
- Práctica
- Cuaderno 2 en Colab (2_HF_Intro.ipynb)
- Profesor
- Sergio Villanueva · Datamecum
2. Hugging Face
Qué es Hugging Face
Model Hub
Catálogo con más de tres millones de modelos preentrenados: visión, lenguaje, audio y multimodales.
Datasets
Más de un millón de datasets públicos para entrenar y evaluar, con una API común de carga y procesamiento.
Spaces
Demos web interactivas, casi siempre con Gradio, que Hugging Face aloja y ejecuta. Pruebas un modelo en segundos sin instalar nada.
Transformers
Librería Python con una misma API de carga, inferencia y fine-tuning para cientos de arquitecturas distintas.
El flujo típico
Buscar modelo
Probar en Space
Descargar con Transformers
Integrar en tu aplicación
Cómo buscar un modelo
Descripción y uso
Para qué fue entrenado, qué tareas resuelve, cómo usarlo con código de ejemplo.
Limitaciones
Sesgos conocidos, casos donde falla, advertencias de seguridad y aspectos éticos.
Licencia
Términos legales de uso: ¿puedes usarlo comercialmente? ¿Debes atribuir autoría?
Archivos
Configuración JSON, pesos del modelo (.safetensors preferido), tokenizers, ejemplos.
Métricas
Resultados en benchmarks estándar, comparación con otros modelos.
Las descargas y los likes sirven para descubrir candidatos, no para decidir cuál funciona mejor en tu dominio. La fecha de última actualización avisa de modelos abandonados.
La ficha del modelo
La Model Card contesta si el modelo sirve para tu caso antes de gastar tiempo.
Respuesta B. Exacto: la tarea acota la búsqueda y la ficha dice para qué se entrenó y con qué condiciones.
Un dominio sensible obliga a revisar para qué se entrenó el modelo, con qué datos y qué limitaciones declara. El número de descargas no responde a ninguna de esas preguntas.
Licencias
Comercial OK
- Apache-2.0: muy permisiva, ideal para empresas.
- MIT: similar a Apache, aún más simple.
- BSD: variantes 2-clause y 3-clause, ambas permisivas.
Con restricciones
- OpenRAIL/CreativeML: uso comercial OK, pero con cláusulas de uso responsable.
- CC BY-SA: requiere compartir derivados bajo la misma licencia.
No comercial
- Research Only: solo investigación académica.
- CC BY-NC: prohibido uso comercial.
Las condiciones se revisan por artefacto y por versión: el repositorio de código y los pesos publicados pueden llevar licencias distintas, y ambas pueden cambiar entre versiones. Esta clasificación orienta la búsqueda; la decisión final se toma leyendo la licencia vigente del artefacto concreto.
Licencia según el uso
La misma licencia cambia de respuesta según lo que vayas a hacer con el modelo.
Permitido con condiciones
Orientación para buscar, no asesoramiento legal. La licencia real se lee en el artefacto y la versión que vayas a usar.
La tabla recoge lo que explica la diapositiva anterior. Los tres casos que más sorprenden: AGPL no obliga a nada mientras no distribuyas ni sirvas el modelo, pero sí en cuanto lo expones por web; una licencia no comercial tampoco vale para un prototipo interno de empresa, porque el propósito ya es comercial; y CC BY-SA permite vender, pero obliga a publicar los derivados con la misma licencia.
Licencia del código y de los pesos
Un repositorio permisivo no garantiza que los pesos lo sean.
Respuesta C. Exacto: cada pieza puede tener sus propias condiciones.
Conviene revisar la licencia del repositorio, la del checkpoint concreto y la de los datos de entrenamiento cuando se declara, además de la versión a la que se aplican.
Qué pasa al cargar un modelo
-
Hub remoto
El modelo vive en Hugging Face Hub identificado por su nombre (ej: "facebook/detr-resnet-50").
-
Descarga a caché
Primera ejecución: descarga config.json, pesos .safetensors, y metadatos a ~/.cache/huggingface/
-
Carga en memoria
El modelo se instancia en RAM/VRAM según el dispositivo (CPU/GPU) que especifiques.
-
Inferencia
Procesas inputs y obtienes predicciones. Puedes usar GPU y mixed precision para acelerar.
Buenas prácticas
Qué hace un pipeline
Descarga
Baja del Hub el modelo y lo que necesita para preparar la imagen.
Ejecuta
Prepara la imagen y la pasa por el modelo.
Devuelve
El resultado ya legible: etiqueta, confianza y, si es un detector, la caja.
El identificador del modelo determina qué arquitectura y qué preprocesador se instancian. Para reproducibilidad conviene fijar también la revisión. En producción, las clases específicas permiten controlar batching, dispositivo, precisión y formato de salida.
Qué te ahorra un pipeline
Conviene saber qué pasos quedan ocultos antes de llevarlo a producción.
Respuesta A. Exacto: el pipeline agrupa pasos frecuentes para una primera prueba.
El pipeline reúne preprocesado, inferencia y posprocesado para una tarea común. No elige el modelo por ti ni garantiza el mejor rendimiento en tu dominio.
Memoria de GPU
Primera pregunta al elegir modelo, y se responde con una multiplicación.
Modelos de referencia (pulsa uno):
Memoria estimada para inferencia0,8 GB
Solo los pesos0,6 GB
- Portátil · 8 GB
- T4 (Colab gratis) · 15 GB
- L4 · 24 GB
- A100 · 40 GB
- H100 · 80 GB
Cabe en 5 de las 5 tarjetas de la lista, contando solo inferencia.
Pesos por precisión más un 35 % de margen para activaciones y fragmentación, con lotes pequeños. Entrenar necesita bastante más. Los chats como ChatGPT no publican su tamaño; se calcula que pasan del billón de parámetros.
La cuenta es directa: parámetros por bytes de cada precisión. En float32 cada parámetro ocupa 4 bytes, en float16 dos, y en FP8 o int8 uno. Una ResNet-50 de clasificación son 25 millones de parámetros y cabe en cualquier sitio; un chat abierto de 70 mil millones ya no entra en una sola H100 en float16; uno de un billón necesita decenas de tarjetas.
Modelos de visión para empezar
Filtra por tarea y por licencia, que son los dos criterios que descartan antes.
Modelos visibles: 9
PekingU/rtdetr_r50vdDetección COCO, tiempo realApache-2.0~42 M
facebook/detr-resnet-50El DETR original, de referenciaApache-2.0~41 M
hustvl/yolos-smallDetección con ViT puroApache-2.0~31 M
IDEA-Research/grounding-dino-baseCajas a partir de una fraseApache-2.0~233 M
google/owlv2-base-patch16Vocabulario abierto por textoApache-2.0~154 M
facebook/sam2.1-hiera-largeSegmentación con prompts, imagen y vídeoApache-2.0~224 M
facebook/dinov2-baseFeatures densas sin etiquetasApache-2.0~86 M
openai/clip-vit-base-patch32Imagen y texto en un espacio comúnMIT~151 M
briaai/RMBG-1.4Recorte de fondo con canal alfaNo comercial~44 M
Lista consultada el 17 de septiembre de 2026 y pensada como punto de partida, no como ranking. Los tamaños son aproximados y la licencia debe confirmarse en la ficha del modelo y de sus pesos antes de usarlo, porque puede cambiar entre versiones. Fíjate en el caso de RMBG-1.4: excelente para recortar fondo, pero su licencia no permite uso comercial sin acuerdo.
Spaces: demos en el navegador
Un Space es una demo web del modelo, ya montada. Subes una foto y ves la salida, sin instalar nada.
Quitar el fondo
Sube una foto de producto y descarga el recorte con transparencia. Es el modelo del tema 6 puesto a trabajar.
Profundidad de una sola foto
Sube cualquier foto y mira el mapa de distancias. Prueba con espejos o cristales, que hacían fallar a la versión anterior, y comprueba si acierta.
Detectar escribiendo la clase
Página de la tarea, con los modelos, los datasets y los Spaces que están vivos hoy. Escribe "una caja de cartón" y mira qué encuentra.
Segmentar
La misma idea para máscaras: modelos de segmentación semántica, de instancias y promptable, con demos que puedes abrir al momento.
Puntos clave
Pose de personas y puntos de interés para matching, con más de 400 modelos publicados y sus demos.
Preguntar sobre una imagen
Los modelos que reciben imagen y texto y responden. Sube una foto de una etiqueta y pídele los campos en JSON.
Un Space es un repositorio con una aplicación (Gradio, Docker o HTML estático) que Hugging Face construye y ejecuta. En el hardware gratuito, CPU Basic, se duerme tras un rato sin visitas, de ahí que a veces tarde en arrancar o falle al construirse. Con el botón de duplicar tienes tu propia copia para cambiarle el modelo, la forma más rápida de enseñar un resultado a alguien que no programa. Ten en cuenta que crear un Space con Gradio o Docker pide hoy un plan de pago, salvo hasta dos Spaces de Gradio en ZeroGPU para cuentas gratuitas; los de HTML estático son gratis. Para un piloto interno conviene duplicarlo en privado en lugar de usar el público.
Antes de quedarte con un modelo del Hub
Siete cosas que comprobar antes de elegirlo.
- La tarea coincideLa etiqueta del Hub dice lo que necesitas, no algo parecido.
- La licencia permite tu usoComprobada en el repositorio y en los pesos, para la versión que vas a usar.
- La ficha declara limitacionesSesgos, casos donde falla, datos de entrenamiento. Si no dice nada, desconfía.
- Cabe en tu hardwareCon la precisión que vas a usar y con margen para el lote.
- Formato de pesos seguro.safetensors antes que .bin.
- Revisión anotadaIdentificador y revisión guardados para poder reproducir.
- Probado con tus datosUna decena de imágenes tuyas dicen más que cualquier métrica publicada.
Cuaderno 2: Hugging Face
Los ejercicios están en el cuaderno. El extra, si da tiempo, lo hacemos juntos; si no, queda para casa.
- Cargar un clasificador y usarlo
- Un catálogo de clásicos: ResNet, ViT, ConvNeXt...
- El RF-DETR del cuaderno 1, desde el Hub
- Guardar un modelo en una carpeta
- Ejercicio: otro clasificador
- Extra: otro detector del Hub
En Colab: Archivo, Guardar una copia en Drive, y Entorno de ejecución, GPU T4.