← Volver

5. SAM: Segment Anything (v1, v2, v3)

Segmentación universal en imagen y vídeo, con prompts.

SAM (Segment Anything Model) segmenta cualquier objeto de cualquier imagen a partir de indicaciones sencillas (puntos, cajas, máscaras), sin entrenar para clases concretas. Desde SAM 2 hace lo mismo en vídeo, manteniendo el objeto entre fotogramas.

Ilustración de apertura del bloque dedicado a SAM.

¿Qué es segmentación?

La segmentación de imágenes es una tarea básica en visión artificial que da más que una caja: asigna una etiqueta a cada píxel de una imagen, delimitando el contorno exacto de los objetos y el fondo.

Tipos de segmentación

Semántica

Cada píxel se clasifica en una categoría (por ejemplo, "coche", "persona", "fondo"). No distingue entre instancias individuales del mismo tipo de objeto: todos los coches reciben la misma máscara y etiqueta.

Por instancias

Cada objeto individual detectado recibe una máscara única y su propia etiqueta. Permite distinguir entre objetos del mismo tipo, como "coche 1", "coche 2", "persona A", "persona B".

Panóptica

Combina la segmentación semántica y por instancias. Asigna una máscara única y una etiqueta a cada instancia de objeto cubriendo toda la imagen. Es la más completa pero también la más compleja.

Comparación visual entre segmentación semántica, por instancias y panóptica sobre la misma escena.

Cómo funciona SAM

SAM tiene una parte pesada que mira la imagen una sola vez y una parte ligera que responde a cada clic. Por eso, tras el primer cálculo, cada indicación se resuelve al momento.

Codificador de imagen (lo pesado)

Un ViT grande convierte la imagen en un mapa de características. Se ejecuta una vez por imagen y el resultado se reutiliza para todos los clics.

Codificador de indicaciones

Convierte los puntos, las cajas o una máscara previa en vectores. Es casi instantáneo.

Decodificador de máscaras

Junta las dos cosas y devuelve tres máscaras candidatas (objeto, parte y subparte) con su puntuación. Tarda unos 50 ms, incluso en el navegador.

Arquitectura de SAM 1 con image encoder, prompt encoder y mask decoder.

SAM 1 no entiende texto. Para segmentar "el coche rojo" hace falta otro modelo que dé la caja, como Grounding DINO. SAM 2 añade memoria para vídeo y SAM 3 acepta texto: lo veis en la pantalla siguiente.

Evolución: SAM → SAM 2 → SAM 3

SAM trabaja con imágenes, SAM 2 añade vídeo y SAM 3 acepta un concepto escrito o un ejemplo.

  1. 2023 · SAM 1

    Segmentación universal en imagen con prompts de puntos y cajas. Dataset SA-1B: unos 11 millones de imágenes y 1.100 millones de máscaras.

  2. 2024 · SAM 2

    Extiende a vídeo con memoria en streaming; más preciso y hasta 6 veces más rápido que SAM 1 en imagen. Dataset SA-V: unos 51.000 vídeos y 643.000 masklets.

  3. 2025 · SAM 3

    Modelo unificado que detecta, segmenta y sigue todas las instancias de un concepto, dado por texto o por ejemplos, en imagen y vídeo.

Animación que recorre las tres generaciones de SAM.

Motor de datos: 1.100 millones de máscaras

SA-1B, el dataset con el que se entrenó SAM, salió de un "motor de datos": un ciclo en el que personas y modelo anotan juntos y el modelo va haciendo cada vez más parte del trabajo.

  1. Anotación asistida

    Personas anotan con una herramienta que ya usa una primera versión de SAM: hacen clics y corrigen la máscara. El modelo se reentrena con lo anotado.

  2. Anotación semiautomática

    SAM marca solo los objetos que tiene claros y las personas añaden los que faltan. Así el dataset gana variedad, y el modelo se vuelve a reentrenar.

  3. Anotación totalmente automática

    Cuando el modelo ya es fiable, anota imágenes completas de forma autónoma. Solo se aceptan las máscaras con alta confianza, permitiendo un escalado masivo de datos.

El resultado: el 99,1 % de las máscaras de SA-1B las generó el propio SAM en la fase automática.

Segmentar con indicaciones (promptable segmentation)

Le indicas a SAM qué quieres segmentar con un punto, una caja u otra indicación, y no hace falta reentrenarlo.

Tipos de prompts y sus capacidades

Puntos

  • Múltiples puntos: incluye o excluye áreas específicas para refinar la máscara deseada.
  • Precisión: útil para objetos ambiguos o con bordes complejos.

Cajas (bounding box)

  • Delimitación amplia: dibuja una caja alrededor del objeto; SAM la convierte en una máscara precisa.
  • Rapidez: ideal para segmentación rápida de objetos bien definidos.

Máscara inicial

  • Refinamiento: proporciona una máscara aproximada (rough) y el modelo perfecciona los bordes y rellena huecos.
  • Perfeccionamiento: útil para mejorar segmentaciones previas o manuales.

Texto

  • SAM 1 y SAM 2: mediante adaptadores (CLIP o Grounding DINO), se puede usar texto como "el coche rojo".
  • SAM 3 (nativo): acepta directamente frases nominales cortas ("autobús amarillo") y segmenta todas las instancias. Para frases con razonamiento, como "el de la izquierda", hace falta un VLM.

Ejemplar (crop)

  • SAM 3: a partir de un recorte de ejemplo, segmenta todas las instancias del mismo concepto en la imagen o vídeo.
  • Generalización: ideal para tareas de conteo o seguimiento de objetos idénticos.

Segment everything

  • Cobertura completa: genera una máscara para cada objeto detectable en la imagen sin prompts específicos.
  • Análisis exhaustivo: útil para la inspección completa de escenas complejas.

Meta AI publica un Segment Anything Playground, un espacio interactivo para probar estos prompts sobre medios propios.

Punto, caja o texto

Pulsa cada indicación: un punto o una caja devuelven un objeto; el texto "sandía" devuelve todas las sandías.

Puesto de frutería con sandías, piñas, granadas, limas y naranjas ordenadas por montones.
Máscaras precalculadas para esta demostración con un algoritmo clásico a partir de una caja. En el cuaderno las genera SAM.

Qué le indicas al modelo

Un punto señala una región concreta, así que el modelo devuelve esa sandía y no la otra.

Máscaras devueltas 1

Qué es una máscara

Desliza para quitar el fondo. Lo que queda es la salida de la segmentación: una lista de píxeles por instancia, cada una con su contorno, no un recorte rectangular.

Puesto de frutería con sandías, piñas, granadas, limas y naranjas ordenadas por montones.
La misma escena con el fondo en negro: solo quedan las dos sandías, la piña y el montón de limas, cada uno con su contorno de color.
Cuatro máscaras con su contorno. Fíjate en las hojas de la piña y en el borde del montón de limas: ahí es donde se nota la calidad del recorte.

Una máscara pesa poco. Con ella puedes medir el área en píxeles o recortar el objeto con su forma exacta, cosas que una caja no permite.

Empezar con un punto

El punto positivo señala una región que debe pertenecer a la máscara.

Quieres segmentar una manzana entre otras frutas. ¿Cómo empiezas?

Corregir sin volver a entrenar

Los nuevos clics añaden información sobre qué incluir y qué excluir.

La máscara se ha comido parte del fondo. ¿Qué haces?

Cuándo usar (y cuándo no) SAM

Úsalo si… (ideal para flexibilidad y zero-shot)

  • Segmentación zero-shot crítica: necesitas segmentar objetos desconocidos, raros o que no existían en tu dataset de entrenamiento (por ejemplo, microscopía o imagen submarina).
  • Vídeo y coherencia temporal: requieres rastrear objetos que se mueven, ocultan y reaparecen sin entrenar un tracker específico, gracias a la memoria de SAM 2 y 3.
  • Interacción humana (human-in-the-loop): estás construyendo herramientas de anotación de datos o edición donde el usuario refina el resultado con clics o cajas.
  • Búsqueda por conceptos (SAM 3): necesitas encontrar todas las instancias de un concepto abstracto ("tornillos oxidados") usando texto o ejemplos visuales, no solo puntos.
  • Escasez de datos: no tienes miles de máscaras anotadas para entrenar un modelo supervisado tradicional.

Evítalo si… (mejor usar modelos supervisados clásicos)

  • Restricciones de hardware extremas (edge): necesitas inferencia en milisegundos en dispositivos IoT o móviles antiguos. SAM 3 es el más exigente: su paper da unos 30 ms por imagen con más de cien objetos en una H200, una GPU de centro de datos. Mide memoria y latencia en tu equipo.
  • Entorno cerrado y repetitivo: si tu problema es "detectar botellas en una cinta transportadora", con clases fijas y fondo controlado, un modelo ligero como RF-DETR-Seg será mucho más rápido y barato de desplegar.
  • Razonamiento complejo: SAM 3 entiende frases nominales simples. Si necesitas lógica compleja, necesitas un VLM.

SAM no dice qué es

SAM marca el contorno, pero no sabe qué objeto es. El nombre lo tiene que poner otro modelo.

Necesitas saber qué especie de pájaro aparece y recortarlo.

¿Qué versión de SAM necesitas?

Las tres segmentan, pero no aceptan las mismas indicaciones ni el mismo medio.

¿Sobre qué trabajas?
¿Cómo vas a señalar lo que buscas?

SAM 2 (o SAM 1)

Imagen y clics es su caso más sencillo. SAM 2 es más rápido y es el que usa el cuaderno; SAM 1 también sirve.

facebook/sam2.1-hiera-small

Antes de usar SAM

Seis cosas que probar antes de montarlo.

  1. Bordes difíciles probadosPelo, transparencias, objetos muy pequeños. Ahí es donde se cae la máscara.
  2. Ambigüedad resueltaDecide si te quedas con la máscara de mayor puntuación o le enseñas las tres al usuario.
  3. Coste de interacción medidoCuántos clics de media hacen falta para una máscara aceptable.
  4. Encoder reutilizadoUna vez por imagen, no una por clic. Es la diferencia entre fluido y lento.
  5. Reconocimiento resuelto aparteSAM delimita pero no nombra. Decide quién pone la etiqueta.
  6. Alternativa ligera comparadaCon clases fijas y fondo controlado, un modelo supervisado pequeño puede salir mejor y más barato.

Cuaderno 5: SAM

Los ejercicios están en el cuaderno. El extra, si da tiempo, lo hacemos juntos; si no, queda para casa.

  1. Segmentar con un punto y afinar con varios
  2. Segmentar por texto: Grounding DINO y SAM 2
  3. Segmentar con instrucciones: Qwen3.5 y SAM 2
  4. Búsqueda semántica con SAM y CLIP
  5. Extra: el perímetro del lago de Central Park
Abrir en Colab