Tema 03: Modelos multimodales

CLIP · BLIP · Grounding DINO · VLM (Qwen2.5-VL)

Los modelos fundacionales multimodales representan un salto cualitativo: combinan visión y lenguaje para entender instrucciones en texto natural, describir imágenes, detectar objetos mediante descripciones verbales, y razonar sobre contenido visual.

La capacidad zero-shot significa que el modelo puede resolver tareas nuevas sin entrenamiento específico para ellas. La clave está en la composicionalidad: el modelo aprende conceptos atómicos («perro», «rojo», «corriendo») y los combina libremente.

Ejemplo práctico: el modelo solo ha visto nutria, orangután y león. En una imagen nueva, foca y gato (nunca vistos) se proyectan en el espacio semántico cerca de los conceptos aprendidos (foca ≈ nutria, gato ≈ león). Así puede reconocer clases nuevas sin reentrenar, añadiendo categorías al instante y cubriendo con coste de anotación casi cero.

Impacto en producción

CLIP relaciona imágenes y texto mediante un entrenamiento contrastivo (contrastive learning) y luego aplica ese conocimiento para tareas como la clasificación zero-shot.

1. Imagen a vector

   La imagen se convierte en un vector (embedding) con el Image Encoder.

2. Textos a vectores

   Los textos de las posibles clases se convierten en vectores con el Text Encoder.

3. Cálculo de similitud

   Se calcula la similitud entre el vector de la imagen y cada vector de texto.

4. Predicción

   La clase con mayor similitud es la predicción final del modelo.

Para qué sirve esto en la práctica: es el motor de la búsqueda por texto en un catálogo de imágenes, de la deduplicación («¿tengo ya esta foto?») y del primer filtro de moderación. En los tres casos se codifica una vez, se guardan los vectores y luego cada consulta es un producto escalar.

Entrenamiento contrastivo a gran escala (400M de pares imagen-texto).

1. La entrada: arquitectura de dos torres

   CLIP utiliza dos codificadores independientes que trabajan en paralelo, proyectando la información a un espacio compartido. El Image Encoder (Vision Transformer o ResNet) convierte la imagen en un vector numérico (embedding). El Text Encoder (un Transformer) convierte la descripción textual en otro vector numérico.

2. El proceso: la matriz de N × N

   El modelo recibe un lote (batch) de N imágenes y sus N textos correspondientes, creando una matriz de N × N posibles parejas. En un lote de 32.000 pares, se generan 32.000 parejas correctas y millones de combinaciones incorrectas.

3. El objetivo: maximizar la diagonal

   El modelo se entrena con una única regla simple (Contrastive Loss):

   • Aumentar la similitud (producto escalar) de los pares correctos (en la diagonal).
   • Disminuir la similitud de todas las combinaciones incorrectas (fuera de la diagonal).

Capacidades avanzadas

Grounding DINO integra procesamiento de lenguaje e imagen en un pipeline unificado, permitiendo una detección de objetos altamente flexible y adaptada a descripciones textuales.

1. Codificación de texto

   El prompt textual («coche rojo y persona») se transforma en features lingüísticas ricas en significado a través de un modelo BERT.

2. Codificación de imagen

   La imagen de entrada es procesada por un Swin Transformer para extraer features visuales de alta resolución.

3. Fusión de características

   Mediante atención cruzada intermodal, las features de texto guían la interpretación visual, alineando el lenguaje con las regiones espaciales relevantes de la imagen.

4. Detección head

   Un decoder Transformer usa estas features fusionadas para predecir las bounding boxes y las clases de los objetos, todo en base al prompt original.

Trade-off importante: los VLM son mucho más pesados y lentos que CLIP o BLIP. Úsalos solo donde aporten valor real, no como solución universal. Para tareas simples, CLIP o Grounding DINO son suficientes.

Para maximizar la eficacia de los modelos multimodales, hay que formular los prompts de manera estratégica y específica para cada tipo de modelo.

Los modelos multimodales son muy potentes pero tienen limitaciones importantes que debes tener en cuenta.

Alucinaciones: los modelos generativos pueden inventar detalles que no existen en la imagen. Especialmente común en VLM cuando preguntas sobre aspectos ambiguos.

Sesgos: los datos de entrenamiento contienen sesgos sociales y culturales que se reflejan en las predicciones. Valida siempre con datos representativos de tu población objetivo.

Prompts ambiguos: «encuentra el problema» puede dar resultados inconsistentes.

Estrategias de mitigación

import torch
from PIL import Image
from transformers import CLIPProcessor, CLIPModel

clip_id = "openai/clip-vit-base-patch32"
processor = CLIPProcessor.from_pretrained(clip_id)
model = CLIPModel.from_pretrained(clip_id)

image = Image.open("mi_imagen.jpg").convert("RGB")
clases = ["una foto de una pieza en buen estado",
          "una foto de una pieza con óxido",
          "una foto de una pieza rota"]

inputs = processor(text=clases, images=image, return_tensors="pt", padding=True)
with torch.no_grad():
    probs = model(**inputs).logits_per_image.softmax(dim=1)[0]

for clase, p in zip(clases, probs):
    print(f"{p:.2f}  {clase}")

1. La lista de candidatos es completaCon CLIP el modelo elige siempre uno. Si falta la opción «ninguna», te devolverá la menos mala.
2. Prompts en positivo«Tornillos en buen estado» en vez de «sin óxido». Las negaciones se entienden mal.
3. Formato de salida pedido explícitamenteSi esperas JSON, dilo y da un ejemplo de los campos.
4. Alucinaciones buscadas a propósitoPrueba con imágenes donde la respuesta correcta sea «no se ve». Un generativo tiende a inventar.
5. Sesgos revisados con tus datosValida con población y escenarios representativos de tu uso real.
6. Umbral ajustado, no heredadoEmpieza en 0,5 y muévelo según veas falsos positivos o negativos.
7. Humano en el bucle donde importaMedicina, seguridad y decisiones sobre personas siempre con revisión.

1. Guarda una copia en Drive.
2. Cambia imagen y prompts.
3. Contrasta salidas y errores.