Tema 03: Modelos multimodales
Modelos fundacionales en visión artificial
Tema 3: Modelos multimodales
Día 1 del curso
- Web del curso
- datamecum.sergiovillanuevalopez.com
- Práctica
- Cuaderno 3 en Colab (3_Multimodal.ipynb)
- Profesor
- Sergio Villanueva · Datamecum
3. Modelos multimodales
Modelos fundacionales
Definición
Son modelos preentrenados a gran escala que aprenden representaciones generales y transferibles.
Importancia
El preentrenamiento masivo les da patrones que sirven para otras tareas, y a menudo funcionan sin ningún ejemplo de la tarea (zero-shot).
Capacidades
Permiten reutilizar el conocimiento en muchas tareas, reducen anotación y evitan entrenar desde cero.
Ejemplos
- CLIP: 400 millones de pares imagen-texto.
- DINOv2: 142 millones de imágenes (sin etiquetas).
- SAM: 11 millones de imágenes y 1.100 millones de máscaras (segmentaciones).
Multimodalidad
Zero-shot y composicionalidad
Impacto en producción
Categorías nuevas sin reentrenar
En zero-shot, las clases se cambian escribiendo otros textos, sin reentrenar.
Respuesta B. Exacto: es lo que hace CLIP. Las clases son los textos que escribes.
La composicionalidad permite combinar atributos como "rojo", "perro" y "corriendo". Esto acelera la experimentación, aunque las categorías propuestas y la formulación de los textos pueden cambiar el resultado.
CLIP: comparar imágenes con textos
Cómo funciona CLIP
-
Imagen a vector
La imagen se convierte en un vector (embedding) con el Image Encoder.
-
Textos a vectores
Los textos de las posibles clases se convierten en vectores con el Text Encoder.
-
Cálculo de similitud
Se calcula la similitud entre el vector de la imagen y cada vector de texto.
-
Predicción
La clase con mayor similitud es la predicción final del modelo.
Similitud coseno
La similitud coseno compara direcciones, no longitudes: gira la imagen y mira qué texto gana.
Las líneas grises de puntos unen los textos que el modelo ha dejado cerca: gato con perro, bicicleta con coche. En naranja, el texto más cercano en línea recta.
- un gato 0,99
- un perro 0,96
- una bicicleta −0,17
- un coche −0,53
La similitud coseno solo mira el ángulo entre vectores: vale 1 cuando apuntan igual, 0 cuando son perpendiculares y −1 cuando se oponen. Por eso dos vectores de longitud muy distinta pueden ser casi idénticos para el modelo, como pasa aquí con la imagen y "un gato". La práctica habitual es normalizar los vectores antes de guardarlos; con vectores normalizados, ordenar por coseno y ordenar por distancia euclídea dan el mismo resultado, y la distancia deja de estorbar. La agrupación tampoco es casual: los conceptos que aparecen juntos en los pares de entrenamiento acaban en direcciones próximas, y por eso gato y perro caen a un lado y bicicleta y coche al otro. De ahí se siguen dos consecuencias prácticas: la lista de candidatos condiciona la respuesta, porque el modelo elige siempre uno, y la formulación del texto desplaza su vector, así que reescribir el prompt puede cambiar el ganador sin tocar la imagen.
Cómo se entrena CLIP
-
La entrada: arquitectura de dos torres
CLIP utiliza dos codificadores independientes que trabajan en paralelo, proyectando la información a un espacio compartido. El Image Encoder (Vision Transformer o ResNet) convierte la imagen en un vector numérico (embedding). El Text Encoder (un Transformer) convierte la descripción textual en otro vector numérico.
-
El proceso: la matriz de N × N
El modelo recibe un lote (batch) de N imágenes y sus N textos correspondientes, creando una matriz de N × N posibles parejas. En un lote de 32.768 pares, el tamaño que usó CLIP, hay 32.768 parejas correctas y más de mil millones de combinaciones incorrectas.
-
El objetivo: maximizar la diagonal
El modelo se entrena con una única regla simple (Contrastive Loss):
- Aumentar la similitud (producto escalar) de los pares correctos (en la diagonal).
- Disminuir la similitud de todas las combinaciones incorrectas (fuera de la diagonal).
Limitaciones de CLIP
Qué NO puede hacer
- Generar texto (solo embeddings).
- Detectar objetos (no proporciona bounding boxes).
- Segmentar imágenes (no produce máscaras).
- Responder preguntas sobre contenido visual.
- Contar objetos con precisión.
Problemas conocidos
- Mezcla quién hace qué: "un perro persigue a un gato" y "un gato persigue a un perro" le parecen casi lo mismo.
- Sesgos heredados del dataset de entrenamiento.
- Confunde atributos visuales muy finos.
- Poca comprensión de negaciones en el prompt.
- Alta sensibilidad a la formulación del prompt.
BLIP: describir y responder
Grounding DINO: localizar objetos descritos con texto
Capacidades avanzadas
Casos de uso y limitaciones de Grounding DINO
Casos de uso
- Inspección industrial sencilla: "defectos en soldadura", "tornillos faltantes", "grietas en superficie".
- Retail y e-commerce: "productos dañados", "etiquetas de precio", "artículos mal colocados".
- Seguridad: "personas sin casco", "vehículos en zona restringida", "objetos abandonados".
- Agricultura: "frutos maduros", "plagas en hojas", "equipos agrícolas".
Limitaciones
- Ambigüedad lingüística: prompts vagos ("cosa roja") pueden generar detecciones imprecisas.
- Objetos muy pequeños: rendimiento reducido en objetos menores al 1 % del área de imagen.
- Escenas complejas: dificultades con múltiples objetos superpuestos o muy similares.
- Dependencia del lenguaje: requiere descripciones precisas; no funciona bien con jerga técnica muy específica.
Localizar por texto
Los modelos multimodales se distinguen por su salida: texto, puntuación o cajas.
Respuesta C. Exacto: devuelve cajas a partir del texto, y hay que medir cómo acierta con tus imágenes.
CLIP puntúa textos frente a una imagen, BLIP genera lenguaje y Grounding DINO devuelve cajas. Para localizar un defecto nombrándolo, la salida que necesitas es una caja.
Cómo recibe la imagen un VLM
Codificador de imagen
Convierte la imagen en vectores, como hace CLIP (por ejemplo, un ViT o SigLIP).
Adaptador
Una capa pequeña que da a esos vectores el mismo formato que las palabras del texto.
Modelo de lenguaje
Recibe la imagen ya convertida junto con vuestra pregunta, como un único texto, y escribe la respuesta.
VLM: Qwen, un modelo para casi todo
Razonar
"¿Pueden arrancar ya los coches?"
→ No, porque hay un peatón cruzando la calle delante de ellos.
Leer texto
Placa electrónica: "¿Qué indica el texto y qué mide la placa?"
→ Pide poner el dedo en el sensor; probablemente mide el pulso.
Responder en JSON
"Devuelve el producto y la web impresos en la placa"
→ {"product": "Easy Pulse", "website": "www.Embedded-Lab.com"}
Conocer el mundo
Foto aérea: "¿Qué ciudad es y qué es la zona verde?"
→ Nueva York, Central Park.
Comparar imágenes
Dos telas: "¿Cuál está dañada y dónde?"
→ La segunda: un agujero deshilachado abajo a la izquierda.
Informe de inspección
"Devuelve defecto, tipo y posición en JSON"
→ {"defect": true, "type": "hole", "location": "bottom left"}
Qwen3.5 entiende también castellano. Acepta imágenes de cualquier proporción sin deformarlas, lo que ayuda a leer documentos y letra pequeña. Las cajas cambian de escala según la versión: Qwen2.5-VL las da en píxeles, y Qwen3-VL y Qwen3.5 de 0 a 1000. Confundirlas no da error, solo dibuja las cajas fuera de sitio.
Qwen como detector
Si la tarea exige razonar antes de localizar, por ejemplo "la fruta que le cayó a Newton", funciona mejor en dos llamadas: primero se le pregunta qué fruta es y después se le pide que la detecte.
Cómo escribir el prompt
Para CLIP
- Usar templates como "una foto de {}".
- Múltiples formulaciones del mismo concepto.
- Evitar negaciones directas en el prompt.
Para Grounding DINO
- Separar conceptos con " . " (punto).
- Ser descriptivo pero conciso.
- Incluir los atributos que distinguen al objeto: color, forma, material.
Para Qwen y otros VLM
- Instrucciones claras y específicas.
- Especificar formato de salida (por ejemplo, JSON).
- Dar ejemplos concretos si es posible.
Malos prompts
- "¿Está bien?"
- "no hay personas sin casco"
Buenos prompts
- "Lista todos los defectos visibles en esta pieza metálica"
- "personas con casco . personas sin casco" (para comparar)
¿Qué modelo uso para cada tarea?
El gráfico ordena capacidades relativas, no mide latencia en un hardware concreto. Para decidir hay que medir en el dispositivo de destino con el tamaño de entrada real.
Elegir modelo
Cada familia resuelve bien una cosa y mal las demás.
Respuesta A. Exacto: BLIP escribe una descripción a partir de la imagen.
Generar una frase es tarea de un modelo generativo. CLIP solo puntúa textos que tú escribes y Grounding DINO devuelve cajas, no lenguaje.
Limitaciones y buenas prácticas
Estrategias de mitigación
¿Qué prompt escribiríais?
Dos casos. Elige el texto que funciona mejor.
Respuesta C. Correcto. Dos conceptos en positivo, separados por el punto que Grounding DINO usa para distinguirlos, y cada uno nombra algo visible.
Respuesta B. Correcto. Pide en positivo, fija el formato de salida y contempla explícitamente el caso sin defectos, que es donde más alucinan los generativos.
Las tres reglas que resuelven la mayoría de los casos: pedir en positivo en lugar de en negativo, nombrar lo que se busca en vez de preguntar si algo está bien, y separar conceptos con un punto cuando el modelo es Grounding DINO. Para un VLM, además, conviene decir el formato de salida que esperas.
Qué modelo elegir
Responde a dos preguntas y sale el modelo, con la línea para empezar.
CLIP
Ordena tus textos candidatos frente a la imagen. Es el más rápido y ligero, ideal como primer filtro de un catálogo. Sirve igual con poca o mucha latencia.
CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
BLIP
Genera una descripción corta de la imagen, con un coste muy inferior al de un VLM.
BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
BLIP, y un VLM si te quedas corto
Empieza por BLIP. Si necesitas que la frase razone o siga instrucciones, salta a un VLM como Qwen3.5 asumiendo el coste.
Salesforce/blip-image-captioning-base y, si hace falta, Qwen/Qwen3.5-2B
Grounding DINO
Le das una frase y devuelve cajas, sin haber sido entrenado en esa categoría. Separa conceptos con un punto. Sirve igual con poca o mucha latencia.
AutoModelForZeroShotObjectDetection.from_pretrained("IDEA-Research/grounding-dino-base")
Un VLM como Qwen3.5
Razona, compara y devuelve JSON con los campos que le pidas. Es el más pesado, así que resérvalo para donde aporte.
Qwen/Qwen3.5-2B
Replantea el problema
Razonar y extraer estructura es caro. Si necesitas volumen, resuelve primero con CLIP o Grounding DINO y manda al VLM solo los casos dudosos.
Si solo uno de cada diez casos llega al VLM, el coste baja casi diez veces y los casos dudosos siguen revisándose.
Antes de usar un modelo multimodal
Siete comprobaciones antes de usar estos modelos en un caso real.
- La lista de candidatos es completaCon CLIP el modelo elige siempre uno. Si falta la opción "ninguna", te devolverá la menos mala.
- Prompts en positivo"Tornillos en buen estado" en vez de "sin óxido". Las negaciones se entienden mal.
- Formato de salida pedido explícitamenteSi esperas JSON, dilo y da un ejemplo de los campos.
- Alucinaciones buscadas a propósitoPrueba con imágenes donde la respuesta correcta sea "no se ve". Un generativo tiende a inventar.
- Sesgos revisados con tus datosValida con población y escenarios representativos de tu uso real.
- Umbral ajustado, no heredadoParte del valor que traiga el modelo y muévelo según veas falsos positivos o negativos.
- Humano en el bucle donde importaMedicina, seguridad y decisiones sobre personas siempre con revisión.
Cuaderno 3: modelos multimodales
Los ejercicios están en el cuaderno. El extra, si da tiempo, lo hacemos juntos; si no, queda para casa.
- CLIP: clasificar sin entrenar
- BLIP: describir una imagen
- Grounding DINO: detectar lo que nombras
- Qwen3.5: preguntar, leer y detectar
- Extra: un prompt para cada modelo
- Para casa: Central Park, informe JSON y buscar fotos
En Colab: Archivo, Guardar una copia en Drive, y Entorno de ejecución, GPU T4.