Representaciones visuales generales para muchas tareas.
DINO (self-DIstillation with NO labels) y sus sucesores aprenden representaciones visuales directamente de los píxeles, sin etiquetas humanas, y esas representaciones sirven después para tareas muy distintas.
Etiquetar fotos a mano es lo que limita cuánto puede aprender un modelo.
El truco: inventarse una tarea cuya respuesta ya está en la propia foto.
Se tapa un trozo de la foto y el modelo lo rellena. Para completar media cara, tiene que saber cómo es una cara.
Dos recortes de la misma foto tienen que dar el mismo resultado. Esta es la idea de DINO.
Dos copias de la misma red. La alumna aprende a contestar lo mismo que la maestra.
La maestra es una copia de la alumna que cambia más despacio. Nadie pone etiquetas en ningún momento.
Las dos redes comparten arquitectura, pero no aprenden igual.
Respuesta B. Exacto: la estudiante aprende a dar la misma salida que la maestra.
La maestra no se entrena por backpropagation: sus pesos son un promedio móvil de los de la estudiante. Esa estabilidad es lo que da un objetivo consistente y evita el colapso de las representaciones.
Al entrenar Vision Transformers (ViT) con el algoritmo DINO, el modelo aprende por su cuenta a separar el objeto principal del fondo.
El descubrimiento: segmentación autoaprendida. El modelo aprende a separar objetos sin anotaciones humanas y sin ninguna función de pérdida de segmentación a nivel de píxel.
Por qué funciona: la autoatención (self-attention).
Los mapas de atención son una señal interna del modelo y se alinean a menudo con objetos, pero no son una máscara de segmentación garantizada ni validada píxel a píxel.
Desliza para pasar de la foto al mapa de atención: lo claro es donde más mira el modelo. Se entrenó sin etiquetas.
Dos animales del mismo tipo y el mapa los separa a los dos, con más intensidad en cuellos y cabezas.
Los recortes salen de la figura original del artículo de DINO, que muestra la atención del token de clase en la última capa de un ViT entrenado sin etiquetas. El mapa tiene la resolución de los parches, de ahí el aspecto cuadriculado: con parches de 8 píxeles se ve más fino que con parches de 16. Conviene recordar que es una señal interna del modelo y no una máscara validada píxel a píxel, así que sirve para entender qué mira y no como salida de segmentación.
DINO detecta copias de una imagen aunque nadie lo entrenó para eso, también cuando están emborronadas, llevan elementos añadidos o se han impreso y escaneado. En el banco de pruebas Copydays supera a Multigrain, un método entrenado específicamente para recuperar imágenes. Sirve para encontrar fotos reutilizadas o duplicadas en un catálogo.
DINO, acrónimo de "self-DIstillation with NO labels", es la familia de referencia del aprendizaje autosupervisado en visión.
Entrena un ViT sin etiquetas y demuestra que su atención separa objetos sin supervisión explícita.
142 millones de imágenes curadas (LVD-142M) y mejoras de entrenamiento. Sus features funcionan sin ajuste en muchas tareas.
1.689 millones de imágenes y un modelo de 7.000 millones de parámetros. Gram anchoring evita que las features densas se degraden en entrenamientos largos.
DINOv2 es el backbone de RF-DETR (tema 1) y de Depth Anything (tema 6). Ojo con dos confusiones habituales: SAM no usa DINO, y el DINO de Grounding DINO es un detector que solo comparte el nombre.
Además de aprender representaciones, DINO hace bien cuatro cosas para las que nunca se entrenó.
Los mapas de atención de DINO actúan como máscaras de objetos, distinguiendo el primer plano del fondo. Identifica objetos coherentes en la escena sin ninguna anotación durante su entrenamiento.
Es capaz de encontrar puntos equivalentes y coherentes entre diferentes vistas de una imagen o incluso entre imágenes distintas. Esta capacidad surge sin haber sido supervisado nunca para tareas de correspondencia.
Los heads de atención de DINO se focalizan naturalmente en objetos salientes dentro de la imagen. Esto ocurre sin que el modelo haya visto una sola bounding box durante su fase de preentrenamiento.
Un clasificador k-NN sobre sus features llega al 77,4 % en ImageNet con un ViT-B/8, sin haber visto una sola etiqueta de clase al entrenar.
El uso más habitual de DINO: convertir cualquier imagen en vectores útiles sin anotar nada.
Sacar un vector de cualquier imagen sin anotar nada y usarlo después en otra tarea.
Uno que resume la imagen entera (el token CLS) y uno por parche, que conserva dónde está cada cosa.
DINOv2 vio 142 millones de imágenes sin etiquetas. Sus vectores suelen funcionar también con fotos que nunca vio, como piezas de una fábrica.
La similitud coseno compara la dirección de dos embeddings normalizados.
Respuesta C. Exacto: la cercanía dice cómo de parecidas las ve el modelo, nada más.
Una similitud alta significa que el modelo representa las imágenes de forma próxima. No demuestra identidad píxel a píxel ni una categoría concreta.
En estas imágenes cada color representa el vector que DINO saca de esa zona. Se pintan en cuatro pasos.
La imagen se parte en parches de 16 × 16 píxeles y el modelo devuelve un vector por parche, de 768 números en un ViT base. Una imagen de 224 × 224 da 196 vectores.
Se juntan esos vectores y se buscan las tres direcciones en las que más varían. Es álgebra pura, sin entrenamiento ni etiquetas.
Cada parche se proyecta sobre esas tres direcciones. Los 768 números se quedan en tres, que es justo lo que cabe en un color.
Se reescalan a 0-255 y se usan como rojo, verde y azul. El parche vuelve a su sitio en la rejilla y aparece la imagen de colores.
Por qué el ala de un avión sale del mismo color que el ala de un pájaro. El color no lo decide el píxel, lo decide el vector. Dos parches con vectores parecidos reciben proyecciones parecidas y, por tanto, el mismo color, aunque uno sea metal gris y el otro plumas marrones.
Que el modelo los deje cerca significa que ha aprendido algo sobre ellos sin que nadie se lo dijera: los dos son superficies alargadas que salen de un cuerpo y lo sostienen. Igual caen juntas la rueda de un coche y la de una bicicleta, o el cielo y el mar.
Para qué sirve más allá de la ilustración: es la forma rápida de comprobar si un modelo entiende tus imágenes antes de montar nada encima. Si al pintar el PCA de tus piezas la zona buena y la zona defectuosa salen de colores distintos, merece la pena probar ese backbone; si sale todo del mismo color, mira otro modelo u otra resolución. Es una exploración, no una medida de rendimiento.
Dos avisos prácticos. El primero: los colores no son comparables entre imágenes salvo que el PCA se ajuste con todas a la vez, porque cada ajuste elige sus propias direcciones y el signo de cada componente es arbitrario. Por eso las figuras publicadas suelen calcular el PCA sobre el conjunto entero de imágenes que enseñan. El segundo: la primera componente suele separar objeto y fondo más que partes concretas, así que es habitual usarla como máscara, quedarse solo con los parches del objeto y repetir el PCA sobre ellos para que las tres componentes se gasten en distinguir partes. El procedimiento no depende de DINO: se puede aplicar a las características densas de cualquier modelo, y lo que cambia de uno a otro es cuánta estructura aparece.
DINO no sirve para todo. Estas son las señales a favor y en contra.
Regla empírica: si tienes etiquetas abundantes y un objetivo fijo, entrena supervisado. Si no, prueba primero los vectores de DINO con tus imágenes.
En una línea de producción casi todas las piezas salen bien. Hay miles de fotos buenas, muy pocas malas, y cada defecto nuevo puede ser distinto del anterior.
Un detector como los del tema 1 necesita muchos ejemplos de cada defecto. Aquí no los hay, y el defecto de mañana puede no parecerse a ninguno de los que tienes.
Se aprende cómo es una pieza buena y se marca lo que se aleja de eso. Para entrenar solo hacen falta fotos de piezas buenas.
Una puntuación por imagen, para aceptar o rechazar la pieza, y un mapa de calor que dice dónde está lo raro.
Hay dos tipos de anomalía. Las estructurales se ven en la superficie: arañazos, grietas, manchas, un hilo suelto. Las lógicas son piezas bien hechas pero mal montadas: falta un tornillo, sobra un cable, un componente va girado. Las segundas son más difíciles para un método que compara trozos pequeños.
Los métodos se comparan con datasets que imitan una línea real: un entrenamiento solo con piezas buenas y un test con los defectos marcados píxel a píxel.
El de referencia: 5.354 fotos de 15 categorías. Diez son objetos (tornillo, botella, cápsula, cable, transistor, avellana…) y cinco son texturas (alfombra, madera, cuero, baldosa, rejilla).
Para probar un método en clase o en casa, descarga una categoría de MVTec AD (la de alfombra o la de tornillos) y entrena solo con la carpeta de buenas. Ojo con la licencia: MVTec AD es CC BY-NC-SA 4.0 y no permite uso comercial (VisA es CC BY 4.0). Para un producto hacen falta fotos de tu propia línea.
PatchCore (Amazon, 2022) compara cada trozo de la imagen nueva con un banco de trozos de piezas buenas. Si un trozo no se parece a ninguno, ahí hay algo raro.
Para una primera prueba, entre 10 y 50, con la misma cámara, distancia y luz que en producción. Si hay variantes, lotes o turnos distintos, harán falta más.
DINOv2 o DINOv3 parte cada foto en parches de 14 o 16 píxeles y da un vector por parche. Se usan los parches, no el vector que resume la imagen entera.
Se guardan los vectores de todas las fotos buenas. Para que ocupe menos se queda un subconjunto que cubra todos los casos, entre el 1 y el 10 % (CoreSet).
Se parte igual y se saca un vector por parche.
Cada parche busca su vecino más cercano en el banco. Esa distancia es su puntuación: pequeña si se parece a algo bueno, grande si no se parece a nada.
Las puntuaciones de todos los parches forman el mapa de calor. La de la imagen es, simplificando, la del peor parche, y se compara con el umbral.
El banco solo guarda parches sin defectos: la puntuación es la distancia al más parecido que encuentre.
Esquema con dos dimensiones. DINO compara embeddings de varios cientos de dimensiones por parche.
Anomalía
Distancia al más parecido22
Umbral14
El parche queda a 22 de lo más parecido que hay en el banco, por encima del umbral 14.
Esta página recoge el estado con el parche al 55 % del recorrido. El banco no contiene ni un solo ejemplo de defecto: por eso el método sirve cuando los fallos son raros o desconocidos. Un parche se considera anómalo cuando ningún vector del banco se le parece lo suficiente, y el umbral se fija observando parches normales de validación, no adivinando. Con cada parche puntuado así, la imagen completa produce un mapa de calor y una puntuación para la imagen.
La misma alfombra, buena y con un defecto. Mueve el umbral y mira qué celdas se encienden en cada una.
Se rechaza
Celdas marcadas13
Puntuación más alta1,89
Qué pieza pasa por la cámara
Hay 13 celdas por encima del umbral y la más alta llega a 1,89. La pieza sale de la línea.
Así se monta una inspección real: el banco se llena con piezas buenas de la propia línea, el umbral se fija con un lote de validación mirando cuántas falsas alarmas aguanta el proceso, y el mapa sirve para enseñar al operario dónde está el problema, no solo que existe.
Esta página recoge el estado de la pieza defectuosa con umbral 1,30. Las puntuaciones están precalculadas con un descriptor clásico, no con DINO: cada celda de 35 × 35 píxeles se resume en siete estadísticas de intensidad y de gradiente, se normaliza con las celdas buenas y se puntúa por la distancia a la celda buena más parecida, que es la regla de PatchCore, simplificada. Una celda de la pieza buena se compara con las demás celdas buenas y nunca consigo misma, así que su puntuación es honesta. El mapa se suaviza con una media de 3 × 3 para que un parche raro suelto no dispare la alarma. Con este descriptor la pieza buena llega como máximo a 1,28 y la defectuosa a 1,89: el margen existe pero es estrecho, y en cuanto el umbral baja de 1,28 la pieza buena ya enciende alguna celda y se para. Con características de DINOv2 el margen se abre, que es justamente el motivo de usarlas, y el cuaderno del tema lo comprueba con el mismo par de imágenes.
Aquí sí hay verdaderos negativos, las piezas buenas que pasan, así que se usan las métricas de clasificación del tema 1.
Cuánto separa las piezas buenas de las malas, sin fijar ningún umbral. 1 es separación perfecta y 0,5 es tirar una moneda. PatchCore llega hasta el 99,6 % en MVTec AD, y otros métodos se le acercan; por eso se publicó MVTec AD 2, más difícil.
El AUROC por píxel y el PRO miden si el mapa marca la zona del defecto. El PRO da el mismo peso a un defecto pequeño que a uno grande. Importan cuando el operario tiene que ver dónde está el fallo.
TPR a un TNR del 95 %: si aceptas parar 5 de cada 100 piezas buenas, qué parte de las malas detectas. Es la métrica operativa del tema 1, y la que entiende el jefe de planta.
El AUROC sirve para elegir método. El umbral se fija después con piezas buenas de validación, y en producción se cuentan dos cosas: cuántas buenas se paran (falsas alarmas) y cuántas malas se escapan. Para aceptar el sistema hace falta probarlo también con piezas malas reales, aunque no se usen para entrenar.
Un vector por sí solo no dice si algo está bien o mal.
Respuesta B. Exacto: el banco de piezas buenas da la referencia y el umbral decide cuándo algo se aleja demasiado.
Hace falta una referencia de normalidad y un criterio de distancia. Sin banco y sin umbral, un embedding es solo un punto en el espacio.
Los pasos de PatchCore llevados a tu línea, sin ningún ejemplo de defecto.
De la misma cámara, la misma distancia y la misma luz que vas a tener en producción. La variabilidad que no esté aquí se marcará como anomalía.
Usa los tokens de parche, no solo el CLS, y normaliza con L2. Sácalos de una capa intermedia: en la última, cada vector mezcla información de toda la imagen y un defecto altera también los parches sanos, de modo que el umbral deja de separar.
No guardes todos los vectores: quédate con un subconjunto que cubra el espacio. Reduce memoria y acelera la búsqueda sin perder cobertura.
Puntúa unas cuantas imágenes buenas que no estén en el banco y coloca el umbral por encima de su distancia máxima, con margen. No lo adivines.
El máximo por parche da el score de la imagen; el mapa completo te dice si el modelo mira donde tú mirarías.
Señal de alarma: si el heatmap se enciende en el fondo o en los bordes en vez de en la pieza, el problema es el encuadre o la iluminación, no el modelo.
Seis comprobaciones antes de ponerlo en la línea.
Los ejercicios están en el cuaderno. El extra, si da tiempo, lo hacemos juntos; si no, queda para casa.
En Colab: Archivo, Guardar una copia en Drive, y Entorno de ejecución, GPU T4.