Tema 04: DINO y representaciones visuales
Modelos fundacionales en visión artificial
Tema 4: DINO y representaciones visuales
Día 2 del curso
- Web del curso
- datamecum.sergiovillanuevalopez.com
- Práctica
- Cuaderno 4 en Colab (4_DINO.ipynb)
- Profesor
- Sergio Villanueva · Datamecum
4. DINO (v1, v2, v3): ver sin etiquetas
¿Por qué sin etiquetas?
Con etiquetas
- Una persona dice qué hay en cada foto.
- ImageNet: 14 millones de fotos, unos tres años y miles de personas.
- El modelo solo aprende las clases de la lista.
Sin etiquetas (autosupervisado)
- El modelo aprende de las propias fotos.
- DINOv3 usó 1.689 millones de fotos, más de cien veces ImageNet.
- Lo que aprende sirve para muchas tareas distintas.
Cómo se aprende sin etiquetas
Tapar y adivinar
Se tapa un trozo de la foto y el modelo lo rellena. Para completar media cara, tiene que saber cómo es una cara.
Dos recortes, misma respuesta
Dos recortes de la misma foto tienen que dar el mismo resultado. Esta es la idea de DINO.
DINO: alumna y maestra
El papel de la red maestra
Las dos redes comparten arquitectura, pero no aprenden igual.
Respuesta B. Exacto: la estudiante aprende a dar la misma salida que la maestra.
La maestra no se entrena por backpropagation: sus pesos son un promedio móvil de los de la estudiante. Esa estabilidad es lo que da un objetivo consistente y evita el colapso de las representaciones.
Mapas de atención de DINO
Los mapas de atención son una señal interna del modelo y se alinean a menudo con objetos, pero no son una máscara de segmentación garantizada ni validada píxel a píxel.
Atención sobre la imagen
Dos animales del mismo tipo y el mapa los separa a los dos, con más intensidad en cuellos y cabezas.
Los recortes salen de la figura original del artículo de DINO, que muestra la atención del token de clase en la última capa de un ViT entrenado sin etiquetas. El mapa tiene la resolución de los parches, de ahí el aspecto cuadriculado: con parches de 8 píxeles se ve más fino que con parches de 16. Conviene recordar que es una señal interna del modelo y no una máscara validada píxel a píxel, así que sirve para entender qué mira y no como salida de segmentación.
DINO: identificación de copias de imágenes
Evolución de la familia DINO
-
2021 · DINO
Entrena un ViT sin etiquetas y demuestra que su atención separa objetos sin supervisión explícita.
-
2023 · DINOv2
142 millones de imágenes curadas (LVD-142M) y mejoras de entrenamiento. Sus features funcionan sin ajuste en muchas tareas.
-
2025 · DINOv3
1.689 millones de imágenes y un modelo de 7.000 millones de parámetros. Gram anchoring evita que las features densas se degraden en entrenamientos largos.
Capacidades emergentes de DINO
Descubrimientos importantes
Segmentación semántica
Los mapas de atención de DINO actúan como máscaras de objetos, distinguiendo el primer plano del fondo. Identifica objetos coherentes en la escena sin ninguna anotación durante su entrenamiento.
Correspondencias
Es capaz de encontrar puntos equivalentes y coherentes entre diferentes vistas de una imagen o incluso entre imágenes distintas. Esta capacidad surge sin haber sido supervisado nunca para tareas de correspondencia.
Detección de objetos
Los heads de atención de DINO se focalizan naturalmente en objetos salientes dentro de la imagen. Esto ocurre sin que el modelo haya visto una sola bounding box durante su fase de preentrenamiento.
Clasificación
Un clasificador k-NN sobre sus features llega al 77,4 % en ImageNet con un ViT-B/8, sin haber visto una sola etiqueta de clase al entrenar.
DINO como extractor de características
Similitud entre embeddings
La similitud coseno compara la dirección de dos embeddings normalizados.
Respuesta C. Exacto: la cercanía dice cómo de parecidas las ve el modelo, nada más.
Una similitud alta significa que el modelo representa las imágenes de forma próxima. No demuestra identidad píxel a píxel ni una categoría concreta.
PCA: los vectores en color
-
Un vector por parche
La imagen se parte en parches de 16 × 16 píxeles y el modelo devuelve un vector por parche, de 768 números en un ViT base. Una imagen de 224 × 224 da 196 vectores.
-
PCA sobre todos los parches
Se juntan esos vectores y se buscan las tres direcciones en las que más varían. Es álgebra pura, sin entrenamiento ni etiquetas.
-
Tres números por parche
Cada parche se proyecta sobre esas tres direcciones. Los 768 números se quedan en tres, que es justo lo que cabe en un color.
-
Los tres números se pintan
Se reescalan a 0-255 y se usan como rojo, verde y azul. El parche vuelve a su sitio en la rejilla y aparece la imagen de colores.
Dos avisos prácticos. El primero: los colores no son comparables entre imágenes salvo que el PCA se ajuste con todas a la vez, porque cada ajuste elige sus propias direcciones y el signo de cada componente es arbitrario. Por eso las figuras publicadas suelen calcular el PCA sobre el conjunto entero de imágenes que enseñan. El segundo: la primera componente suele separar objeto y fondo más que partes concretas, así que es habitual usarla como máscara, quedarse solo con los parches del objeto y repetir el PCA sobre ellos para que las tres componentes se gasten en distinguir partes. El procedimiento no depende de DINO: se puede aplicar a las características densas de cualquier modelo, y lo que cambia de uno a otro es cuánta estructura aparece.
DINOv3
DINOv3: características densas
Cuándo usar (y cuándo no) DINO
Úsalo si…
- No tienes etiquetas o son muy costosas de obtener.
- Las clases o categorías cambian frecuentemente y reentrenar es inviable.
- Necesitas features reutilizables para múltiples tareas (segmentación, anomalías, búsqueda…).
- Quieres descubrir patrones sin asumir taxonomía previa.
- Buscas robustez a cambios de dominio (iluminación, fondo, escala).
Evítalo si…
- Tienes muchas etiquetas fiables y un objetivo de clasificación bien definido (supervisado será mejor).
- Requieres tiempo real en edge con hardware muy limitado (DINO es más pesado que MobileNet).
- Necesitas explicabilidad detallada y reglas interpretables (modelos más simples o clásicos).
- El problema es extremadamente específico y las features generales no aportan (raro, pero posible).
Detección de anomalías en inspección
Por qué no basta un detector
Un detector como los del tema 1 necesita muchos ejemplos de cada defecto. Aquí no los hay, y el defecto de mañana puede no parecerse a ninguno de los que tienes.
La idea
Se aprende cómo es una pieza buena y se marca lo que se aleja de eso. Para entrenar solo hacen falta fotos de piezas buenas.
Qué devuelve
Una puntuación por imagen, para aceptar o rechazar la pieza, y un mapa de calor que dice dónde está lo raro.
Datasets de anomalías: MVTec AD
MVTec AD (2019)
El de referencia: 5.354 fotos de 15 categorías. Diez son objetos (tornillo, botella, cápsula, cable, transistor, avellana…) y cinco son texturas (alfombra, madera, cuero, baldosa, rejilla).
- Entrenamiento: 3.629 fotos, todas buenas.
- Test: 1.725 fotos, buenas y con más de 70 tipos de defecto, cada uno con su máscara.
Otros que vais a encontrar
- VisA (Amazon, 2022): 10.821 fotos de 12 objetos, entre ellos cuatro tipos de placa de circuito; 1.200 tienen defecto. github.com/amazon-science/spot-diff
- MVTec AD 2 (2025): más de 8.000 fotos en 8 escenarios difíciles, con objetos transparentes, cambios de luz y piezas muy variables. mvtec.com: MVTec AD 2
- MVTec LOCO AD: anomalías estructurales y también lógicas, piezas que faltan, sobran o están mal colocadas. mvtec.com: MVTec LOCO AD
PatchCore con DINO, paso a paso
-
Fotos de piezas buenas
Para una primera prueba, entre 10 y 50, con la misma cámara, distancia y luz que en producción. Si hay variantes, lotes o turnos distintos, harán falta más.
-
Un vector por parche
DINOv2 o DINOv3 parte cada foto en parches de 14 o 16 píxeles y da un vector por parche. Se usan los parches, no el vector que resume la imagen entera.
-
El banco de parches buenos
Se guardan los vectores de todas las fotos buenas. Para que ocupe menos se queda un subconjunto que cubra todos los casos, entre el 1 y el 10 % (CoreSet).
-
La imagen nueva
Se parte igual y se saca un vector por parche.
-
Distancia al más parecido
Cada parche busca su vecino más cercano en el banco. Esa distancia es su puntuación: pequeña si se parece a algo bueno, grande si no se parece a nada.
-
Mapa y decisión
Las puntuaciones de todos los parches forman el mapa de calor. La de la imagen es, simplificando, la del peor parche, y se compara con el umbral.
Distancia al banco de parches buenos
El banco solo guarda parches sin defectos: la puntuación es la distancia al más parecido que encuentre.
Esquema con dos dimensiones. DINO compara embeddings de varios cientos de dimensiones por parche.
Anomalía
Distancia al más parecido22
Umbral14
Esta página recoge el estado con el parche al 55 % del recorrido. El banco no contiene ni un solo ejemplo de defecto: por eso el método sirve cuando los fallos son raros o desconocidos. Un parche se considera anómalo cuando ningún vector del banco se le parece lo suficiente, y el umbral se fija observando parches normales de validación, no adivinando. Con cada parche puntuado así, la imagen completa produce un mapa de calor y una puntuación para la imagen.
Aceptar o rechazar la pieza
La misma alfombra, buena y con un defecto. Mueve el umbral y mira qué celdas se encienden en cada una.
Se rechaza
Celdas marcadas13
Puntuación más alta1,89
Qué pieza pasa por la cámara
Esta página recoge el estado de la pieza defectuosa con umbral 1,30. Las puntuaciones están precalculadas con un descriptor clásico, no con DINO: cada celda de 35 × 35 píxeles se resume en siete estadísticas de intensidad y de gradiente, se normaliza con las celdas buenas y se puntúa por la distancia a la celda buena más parecida, que es la regla de PatchCore, simplificada. Una celda de la pieza buena se compara con las demás celdas buenas y nunca consigo misma, así que su puntuación es honesta. El mapa se suaviza con una media de 3 × 3 para que un parche raro suelto no dispare la alarma. Con este descriptor la pieza buena llega como máximo a 1,28 y la defectuosa a 1,89: el margen existe pero es estrecho, y en cuanto el umbral baja de 1,28 la pieza buena ya enciende alguna celda y se para. Con características de DINOv2 el margen se abre, que es justamente el motivo de usarlas, y el cuaderno del tema lo comprueba con el mismo par de imágenes.
Cómo se mide un detector de anomalías
AUROC de imagen
Cuánto separa las piezas buenas de las malas, sin fijar ningún umbral. 1 es separación perfecta y 0,5 es tirar una moneda. PatchCore llega hasta el 99,6 % en MVTec AD, y otros métodos se le acercan; por eso se publicó MVTec AD 2, más difícil.
Métricas de píxel
El AUROC por píxel y el PRO miden si el mapa marca la zona del defecto. El PRO da el mismo peso a un defecto pequeño que a uno grande. Importan cuando el operario tiene que ver dónde está el fallo.
En la línea: el punto de trabajo
TPR a un TNR del 95 %: si aceptas parar 5 de cada 100 piezas buenas, qué parte de las malas detectas. Es la métrica operativa del tema 1, y la que entiende el jefe de planta.
Qué hace falta para detectar una anomalía
Un vector por sí solo no dice si algo está bien o mal.
Respuesta B. Exacto: el banco de piezas buenas da la referencia y el umbral decide cuándo algo se aleja demasiado.
Hace falta una referencia de normalidad y un criterio de distancia. Sin banco y sin umbral, un embedding es solo un punto en el espacio.
Montar un detector de anomalías
Los pasos de PatchCore llevados a tu línea, sin ningún ejemplo de defecto.
-
Reúne entre 10 y 50 imágenes normales
De la misma cámara, la misma distancia y la misma luz que vas a tener en producción. La variabilidad que no esté aquí se marcará como anomalía.
-
Extrae embeddings por parche y normaliza
Usa los tokens de parche, no solo el CLS, y normaliza con L2. Sácalos de una capa intermedia: en la última, cada vector mezcla información de toda la imagen y un defecto altera también los parches sanos, de modo que el umbral deja de separar.
-
Construye el banco con un CoreSet del 1 al 10 %
No guardes todos los vectores: quédate con un subconjunto que cubra el espacio. Reduce memoria y acelera la búsqueda sin perder cobertura.
-
Fija el umbral con imágenes normales de validación
Puntúa unas cuantas imágenes buenas que no estén en el banco y coloca el umbral por encima de su distancia máxima, con margen. No lo adivines.
-
Puntúa y revisa el heatmap, no solo el número
El máximo por parche da el score de la imagen; el mapa completo te dice si el modelo mira donde tú mirarías.
Antes de usar un banco de normalidad
Seis comprobaciones antes de ponerlo en la línea.
- Las imágenes normales cubren la variación realTurnos, lotes, luz de mañana y de tarde. Lo que falte se marcará como anomalía.
- Encuadre estableSi la pieza cambia de posición entre fotos, la distancia sube sin que haya defecto.
- Umbral fijado con validaciónCon imágenes buenas apartadas, no con las del propio banco.
- Heatmap revisado a ojoQue se encienda donde está el defecto y no en el fondo.
- Falsos positivos contadosCuántas piezas buenas estás parando. Ese es el coste que notará producción.
- Plan de actualizaciónQué haces cuando cambie el proveedor, el lote o la iluminación.
Cuaderno 4: DINO
Los ejercicios están en el cuaderno. El extra, si da tiempo, lo hacemos juntos; si no, queda para casa.
- Qué devuelve el modelo
- Parecido entre imágenes
- Correspondencias entre parches
- PCA en color y dónde mira el modelo
- Piezas OK o NOK y anomalías con la alfombra
- Extra: parecidos y umbral de inspección
- Para casa: PCA común, mapa de piezas y tus propias piezas
En Colab: Archivo, Guardar una copia en Drive, y Entorno de ejecución, GPU T4.