Datamecum
Material

Tema 04: DINO y representaciones visuales

4. DINO (v1, v2, v3): ver sin etiquetas

Representaciones visuales generales para muchas tareas.

DINO (self-DIstillation with NO labels) y sus sucesores aprenden representaciones visuales directamente de los píxeles, sin etiquetas humanas, y esas representaciones sirven después para tareas muy distintas.

Ilustración de apertura del bloque dedicado a DINO.

¿Por qué sin etiquetas?

Etiquetar fotos a mano es lo que limita cuánto puede aprender un modelo.

Con etiquetas

  • Una persona dice qué hay en cada foto.
  • ImageNet: 14 millones de fotos, unos tres años y miles de personas.
  • El modelo solo aprende las clases de la lista.

Sin etiquetas (autosupervisado)

  • El modelo aprende de las propias fotos.
  • DINOv3 usó 1.689 millones de fotos, más de cien veces ImageNet.
  • Lo que aprende sirve para muchas tareas distintas.
Comparación entre aprendizaje supervisado, que depende de etiquetas, y auto-supervisado, que las genera del propio dato.

Cómo se aprende sin etiquetas

El truco: inventarse una tarea cuya respuesta ya está en la propia foto.

Tapar y adivinar

Se tapa un trozo de la foto y el modelo lo rellena. Para completar media cara, tiene que saber cómo es una cara.

Dos recortes, misma respuesta

Dos recortes de la misma foto tienen que dar el mismo resultado. Esta es la idea de DINO.

Animación de una tarea de pretexto que oculta parte de la imagen para que el modelo la prediga.

DINO: alumna y maestra

Dos copias de la misma red. La alumna aprende a contestar lo mismo que la maestra.

  1. De cada foto se sacan recortes grandes y recortes pequeños.
  2. La maestra mira un recorte grande. La alumna, uno pequeño.
  3. La alumna tiene que dar la misma respuesta que la maestra: si solo ve la oreja del gato, tiene que contestar como quien ve el gato entero.

La maestra es una copia de la alumna que cambia más despacio. Nadie pone etiquetas en ningún momento.

Animación del esquema estudiante y maestra con vistas locales y globales de la misma imagen.

El papel de la red maestra

Las dos redes comparten arquitectura, pero no aprenden igual.

¿Qué hace la red maestra en DINO?

Mapas de atención de DINO

Al entrenar Vision Transformers (ViT) con el algoritmo DINO, el modelo aprende por su cuenta a separar el objeto principal del fondo.

El descubrimiento: segmentación autoaprendida. El modelo aprende a separar objetos sin anotaciones humanas y sin ninguna función de pérdida de segmentación a nivel de píxel.

Por qué funciona: la autoatención (self-attention).

  • Visión global: cada parte de la imagen construye su comprensión procesando y relacionándose con otras ubicaciones, incluso las más distantes.
  • Comprensión de escena: así cada parche lleva información del resto de la imagen, no solo de su entorno.
  • Segmentación por atención: al analizar los mapas de atención internos del modelo, se observa que estos se alinean directamente con regiones semánticas coherentes, es decir, el modelo "separa" los objetos automáticamente.
Mapas de auto-atención de DINO que resaltan el objeto principal frente al fondo.

Atención sobre la imagen

Desliza para pasar de la foto al mapa de atención: lo claro es donde más mira el modelo. Se entrenó sin etiquetas.

Dos jirafas de pie sobre hierba seca, con arbustos detrás.
Mapa de atención que ilumina las siluetas de las dos jirafas y apaga la hierba y los arbustos.

Dos animales del mismo tipo y el mapa los separa a los dos, con más intensidad en cuellos y cabezas.

DINO: identificación de copias de imágenes

DINO detecta copias de una imagen aunque nadie lo entrenó para eso, también cuando están emborronadas, llevan elementos añadidos o se han impreso y escaneado. En el banco de pruebas Copydays supera a Multigrain, un método entrenado específicamente para recuperar imágenes. Sirve para encontrar fotos reutilizadas o duplicadas en un catálogo.

Ejemplos de copias de una misma imagen recuperadas por DINO pese a recortes y filtros.

Evolución de la familia DINO

DINO, acrónimo de "self-DIstillation with NO labels", es la familia de referencia del aprendizaje autosupervisado en visión.

  1. 2021 · DINO

    Entrena un ViT sin etiquetas y demuestra que su atención separa objetos sin supervisión explícita.

  2. 2023 · DINOv2

    142 millones de imágenes curadas (LVD-142M) y mejoras de entrenamiento. Sus features funcionan sin ajuste en muchas tareas.

  3. 2025 · DINOv3

    1.689 millones de imágenes y un modelo de 7.000 millones de parámetros. Gram anchoring evita que las features densas se degraden en entrenamientos largos.

DINOv2 es el backbone de RF-DETR (tema 1) y de Depth Anything (tema 6). Ojo con dos confusiones habituales: SAM no usa DINO, y el DINO de Grounding DINO es un detector que solo comparte el nombre.

Animación que recorre las tres generaciones de DINO.

Capacidades emergentes de DINO

Descubrimientos importantes

Además de aprender representaciones, DINO hace bien cuatro cosas para las que nunca se entrenó.

Segmentación semántica

Los mapas de atención de DINO actúan como máscaras de objetos, distinguiendo el primer plano del fondo. Identifica objetos coherentes en la escena sin ninguna anotación durante su entrenamiento.

Correspondencias

Es capaz de encontrar puntos equivalentes y coherentes entre diferentes vistas de una imagen o incluso entre imágenes distintas. Esta capacidad surge sin haber sido supervisado nunca para tareas de correspondencia.

Detección de objetos

Los heads de atención de DINO se focalizan naturalmente en objetos salientes dentro de la imagen. Esto ocurre sin que el modelo haya visto una sola bounding box durante su fase de preentrenamiento.

Clasificación

Un clasificador k-NN sobre sus features llega al 77,4 % en ImageNet con un ViT-B/8, sin haber visto una sola etiqueta de clase al entrenar.

Capacidades emergentes de DINO ilustradas sobre varias imágenes.

DINO como extractor de características

El uso más habitual de DINO: convertir cualquier imagen en vectores útiles sin anotar nada.

Para qué

Sacar un vector de cualquier imagen sin anotar nada y usarlo después en otra tarea.

Dos tipos de vector

Uno que resume la imagen entera (el token CLS) y uno por parche, que conserva dónde está cada cosa.

Por qué sirve en tu dominio

DINOv2 vio 142 millones de imágenes sin etiquetas. Sus vectores suelen funcionar también con fotos que nunca vio, como piezas de una fábrica.

Qué se hace con ellos

  • Buscar imágenes parecidas.
  • Agrupar sin etiquetas.
  • Clasificar con pocos ejemplos (k-NN).
  • Detectar anomalías.
Visualización de características densas extraídas por DINO sobre varias imágenes.

Similitud entre embeddings

La similitud coseno compara la dirección de dos embeddings normalizados.

Dos imágenes tienen vectores muy cercanos. ¿Qué puedes decir?

PCA: los vectores en color

En estas imágenes cada color representa el vector que DINO saca de esa zona. Se pintan en cuatro pasos.

  1. Un vector por parche

    La imagen se parte en parches de 16 × 16 píxeles y el modelo devuelve un vector por parche, de 768 números en un ViT base. Una imagen de 224 × 224 da 196 vectores.

  2. PCA sobre todos los parches

    Se juntan esos vectores y se buscan las tres direcciones en las que más varían. Es álgebra pura, sin entrenamiento ni etiquetas.

  3. Tres números por parche

    Cada parche se proyecta sobre esas tres direcciones. Los 768 números se quedan en tres, que es justo lo que cabe en un color.

  4. Los tres números se pintan

    Se reescalan a 0-255 y se usan como rojo, verde y azul. El parche vuelve a su sitio en la rejilla y aparece la imagen de colores.

Por qué el ala de un avión sale del mismo color que el ala de un pájaro. El color no lo decide el píxel, lo decide el vector. Dos parches con vectores parecidos reciben proyecciones parecidas y, por tanto, el mismo color, aunque uno sea metal gris y el otro plumas marrones.

Que el modelo los deje cerca significa que ha aprendido algo sobre ellos sin que nadie se lo dijera: los dos son superficies alargadas que salen de un cuerpo y lo sostienen. Igual caen juntas la rueda de un coche y la de una bicicleta, o el cielo y el mar.

Dos vistas aéreas pintadas con los tres primeros componentes principales de las características DINO: carreteras en magenta, vegetación en verde y agua en azul.
Aquí las carreteras salen magenta en las dos imágenes, y la vegetación verde. Ningún color estaba definido de antemano.

Para qué sirve más allá de la ilustración: es la forma rápida de comprobar si un modelo entiende tus imágenes antes de montar nada encima. Si al pintar el PCA de tus piezas la zona buena y la zona defectuosa salen de colores distintos, merece la pena probar ese backbone; si sale todo del mismo color, mira otro modelo u otra resolución. Es una exploración, no una medida de rendimiento.

DINOv3

Animación de los mapas de características de DINOv3 sobre una escena en movimiento.
Fíjate en que el color de cada región se mantiene mientras la escena se mueve: el modelo no ha visto una sola etiqueta.

DINOv3: características densas

Animación de características densas de DINOv3 que mantienen la coherencia entre fotogramas.
Cada parche conserva su representación entre fotogramas, que es lo que permite usarlas para correspondencias y seguimiento.

Cuándo usar (y cuándo no) DINO

DINO no sirve para todo. Estas son las señales a favor y en contra.

Úsalo si…

  • No tienes etiquetas o son muy costosas de obtener.
  • Las clases o categorías cambian frecuentemente y reentrenar es inviable.
  • Necesitas features reutilizables para múltiples tareas (segmentación, anomalías, búsqueda…).
  • Quieres descubrir patrones sin asumir taxonomía previa.
  • Buscas robustez a cambios de dominio (iluminación, fondo, escala).

Evítalo si…

  • Tienes muchas etiquetas fiables y un objetivo de clasificación bien definido (supervisado será mejor).
  • Requieres tiempo real en edge con hardware muy limitado (DINO es más pesado que MobileNet).
  • Necesitas explicabilidad detallada y reglas interpretables (modelos más simples o clásicos).
  • El problema es extremadamente específico y las features generales no aportan (raro, pero posible).

Regla empírica: si tienes etiquetas abundantes y un objetivo fijo, entrena supervisado. Si no, prueba primero los vectores de DINO con tus imágenes.

Detección de anomalías en inspección

En una línea de producción casi todas las piezas salen bien. Hay miles de fotos buenas, muy pocas malas, y cada defecto nuevo puede ser distinto del anterior.

Por qué no basta un detector

Un detector como los del tema 1 necesita muchos ejemplos de cada defecto. Aquí no los hay, y el defecto de mañana puede no parecerse a ninguno de los que tienes.

La idea

Se aprende cómo es una pieza buena y se marca lo que se aleja de eso. Para entrenar solo hacen falta fotos de piezas buenas.

Qué devuelve

Una puntuación por imagen, para aceptar o rechazar la pieza, y un mapa de calor que dice dónde está lo raro.

Hay dos tipos de anomalía. Las estructurales se ven en la superficie: arañazos, grietas, manchas, un hilo suelto. Las lógicas son piezas bien hechas pero mal montadas: falta un tornillo, sobra un cable, un componente va girado. Las segundas son más difíciles para un método que compara trozos pequeños.

Datasets de anomalías: MVTec AD

Los métodos se comparan con datasets que imitan una línea real: un entrenamiento solo con piezas buenas y un test con los defectos marcados píxel a píxel.

MVTec AD (2019)

El de referencia: 5.354 fotos de 15 categorías. Diez son objetos (tornillo, botella, cápsula, cable, transistor, avellana…) y cinco son texturas (alfombra, madera, cuero, baldosa, rejilla).

  • Entrenamiento: 3.629 fotos, todas buenas.
  • Test: 1.725 fotos, buenas y con más de 70 tipos de defecto, cada uno con su máscara.

mvtec.com: MVTec AD

Otros que vais a encontrar

  • VisA (Amazon, 2022): 10.821 fotos de 12 objetos, entre ellos cuatro tipos de placa de circuito; 1.200 tienen defecto. github.com/amazon-science/spot-diff
  • MVTec AD 2 (2025): más de 8.000 fotos en 8 escenarios difíciles, con objetos transparentes, cambios de luz y piezas muy variables. mvtec.com: MVTec AD 2
  • MVTec LOCO AD: anomalías estructurales y también lógicas, piezas que faltan, sobran o están mal colocadas. mvtec.com: MVTec LOCO AD

Para probar un método en clase o en casa, descarga una categoría de MVTec AD (la de alfombra o la de tornillos) y entrena solo con la carpeta de buenas. Ojo con la licencia: MVTec AD es CC BY-NC-SA 4.0 y no permite uso comercial (VisA es CC BY 4.0). Para un producto hacen falta fotos de tu propia línea.

PatchCore con DINO, paso a paso

PatchCore (Amazon, 2022) compara cada trozo de la imagen nueva con un banco de trozos de piezas buenas. Si un trozo no se parece a ninguno, ahí hay algo raro.

  1. Fotos de piezas buenas

    Para una primera prueba, entre 10 y 50, con la misma cámara, distancia y luz que en producción. Si hay variantes, lotes o turnos distintos, harán falta más.

  2. Un vector por parche

    DINOv2 o DINOv3 parte cada foto en parches de 14 o 16 píxeles y da un vector por parche. Se usan los parches, no el vector que resume la imagen entera.

  3. El banco de parches buenos

    Se guardan los vectores de todas las fotos buenas. Para que ocupe menos se queda un subconjunto que cubra todos los casos, entre el 1 y el 10 % (CoreSet).

  4. La imagen nueva

    Se parte igual y se saca un vector por parche.

  5. Distancia al más parecido

    Cada parche busca su vecino más cercano en el banco. Esa distancia es su puntuación: pequeña si se parece a algo bueno, grande si no se parece a nada.

  6. Mapa y decisión

    Las puntuaciones de todos los parches forman el mapa de calor. La de la imagen es, simplificando, la del peor parche, y se compara con el umbral.

Distancia al banco de parches buenos

El banco solo guarda parches sin defectos: la puntuación es la distancia al más parecido que encuentre.

Banco de normalidad Parche de test

Esquema con dos dimensiones. DINO compara embeddings de varios cientos de dimensiones por parche.

Anomalía

Distancia al más parecido22

Umbral14

El parche queda a 22 de lo más parecido que hay en el banco, por encima del umbral 14.

Aceptar o rechazar la pieza

La misma alfombra, buena y con un defecto. Mueve el umbral y mira qué celdas se encienden en cada una.

Tejido de alfombra gris con un nudo de hilos sueltos en la parte inferior izquierda.
Cada celda es un parche. El color de fondo es su puntuación; el borde marca las que superan el umbral. Las puntuaciones usan la misma regla, pero con un descriptor sencillo en vez de DINO. El cuaderno lo repite con DINO.

Se rechaza

Celdas marcadas13

Puntuación más alta1,89

Qué pieza pasa por la cámara

Hay 13 celdas por encima del umbral y la más alta llega a 1,89. La pieza sale de la línea.

Así se monta una inspección real: el banco se llena con piezas buenas de la propia línea, el umbral se fija con un lote de validación mirando cuántas falsas alarmas aguanta el proceso, y el mapa sirve para enseñar al operario dónde está el problema, no solo que existe.

Cómo se mide un detector de anomalías

Aquí sí hay verdaderos negativos, las piezas buenas que pasan, así que se usan las métricas de clasificación del tema 1.

AUROC de imagen

Cuánto separa las piezas buenas de las malas, sin fijar ningún umbral. 1 es separación perfecta y 0,5 es tirar una moneda. PatchCore llega hasta el 99,6 % en MVTec AD, y otros métodos se le acercan; por eso se publicó MVTec AD 2, más difícil.

Métricas de píxel

El AUROC por píxel y el PRO miden si el mapa marca la zona del defecto. El PRO da el mismo peso a un defecto pequeño que a uno grande. Importan cuando el operario tiene que ver dónde está el fallo.

En la línea: el punto de trabajo

TPR a un TNR del 95 %: si aceptas parar 5 de cada 100 piezas buenas, qué parte de las malas detectas. Es la métrica operativa del tema 1, y la que entiende el jefe de planta.

El AUROC sirve para elegir método. El umbral se fija después con piezas buenas de validación, y en producción se cuentan dos cosas: cuántas buenas se paran (falsas alarmas) y cuántas malas se escapan. Para aceptar el sistema hace falta probarlo también con piezas malas reales, aunque no se usen para entrenar.

Qué hace falta para detectar una anomalía

Un vector por sí solo no dice si algo está bien o mal.

Quieres detectar defectos con DINO. ¿Qué te falta además de los vectores?

Montar un detector de anomalías

Los pasos de PatchCore llevados a tu línea, sin ningún ejemplo de defecto.

  1. Reúne entre 10 y 50 imágenes normales

    De la misma cámara, la misma distancia y la misma luz que vas a tener en producción. La variabilidad que no esté aquí se marcará como anomalía.

  2. Extrae embeddings por parche y normaliza

    Usa los tokens de parche, no solo el CLS, y normaliza con L2. Sácalos de una capa intermedia: en la última, cada vector mezcla información de toda la imagen y un defecto altera también los parches sanos, de modo que el umbral deja de separar.

  3. Construye el banco con un CoreSet del 1 al 10 %

    No guardes todos los vectores: quédate con un subconjunto que cubra el espacio. Reduce memoria y acelera la búsqueda sin perder cobertura.

  4. Fija el umbral con imágenes normales de validación

    Puntúa unas cuantas imágenes buenas que no estén en el banco y coloca el umbral por encima de su distancia máxima, con margen. No lo adivines.

  5. Puntúa y revisa el heatmap, no solo el número

    El máximo por parche da el score de la imagen; el mapa completo te dice si el modelo mira donde tú mirarías.

Señal de alarma: si el heatmap se enciende en el fondo o en los bordes en vez de en la pieza, el problema es el encuadre o la iluminación, no el modelo.

Antes de usar un banco de normalidad

Seis comprobaciones antes de ponerlo en la línea.

  1. Las imágenes normales cubren la variación realTurnos, lotes, luz de mañana y de tarde. Lo que falte se marcará como anomalía.
  2. Encuadre estableSi la pieza cambia de posición entre fotos, la distancia sube sin que haya defecto.
  3. Umbral fijado con validaciónCon imágenes buenas apartadas, no con las del propio banco.
  4. Heatmap revisado a ojoQue se encienda donde está el defecto y no en el fondo.
  5. Falsos positivos contadosCuántas piezas buenas estás parando. Ese es el coste que notará producción.
  6. Plan de actualizaciónQué haces cuando cambie el proveedor, el lote o la iluminación.

Cuaderno 4: DINO

Los ejercicios están en el cuaderno. El extra, si da tiempo, lo hacemos juntos; si no, queda para casa.

  1. Qué devuelve el modelo
  2. Parecido entre imágenes
  3. Correspondencias entre parches
  4. PCA en color y dónde mira el modelo
  5. Piezas OK o NOK y anomalías con la alfombra
  6. Extra: parecidos y umbral de inspección
  7. Para casa: PCA común, mapa de piezas y tus propias piezas
Abrir en Colab