Tema 01: Detección de objetos
Modelos fundacionales en visión artificial
Tema 1: Detección de objetos
Día 1 del curso
- Web del curso
- datamecum.sergiovillanuevalopez.com
- Práctica
- Cuaderno 1 en Colab (1_OD.ipynb)
- Profesor
- Sergio Villanueva · Datamecum
Qué es la visión artificial
La brecha semántica: ¿cómo lo ve un humano vs. una máquina?
Visión humana
Inmediatamente identificamos "un gato naranja durmiendo en un sofá" y comprendemos su contexto.
Visión computacional
Una máquina percibe una compleja matriz de millones de píxeles, cada uno con valores numéricos RGB como [255, 128, 64…].
Las imágenes digitales son matrices de píxeles. La visión artificial aprende representaciones que permiten asociar esos valores con objetos, relaciones o regiones.
Tareas principales en visión artificial
¿Qué salida necesitas?
La misma imagen admite tareas distintas.
Respuesta B. Exacto: la detección localiza cada instancia y permite contarla.
La clasificación da una etiqueta global. La detección devuelve cajas y categorías por instancia. La segmentación delimita píxeles. Otros problemas incluyen anomalías, pose, OCR, profundidad y superresolución.
1. Detección de objetos
Familias de detectores
Evolución histórica de los detectores
-
Two-Stage (2014-2016)
R-CNN, Fast R-CNN, Faster R-CNN: arquitecturas de dos etapas que primero proponen regiones candidatas y luego las clasifican. Precisos pero complejos y lentos.
-
One-Stage (2016 →)
YOLO cambia el planteamiento: una sola red neuronal procesa la imagen completa en tiempo real, prediciendo cajas y clases simultáneamente mediante una cuadrícula.
-
Transformers (2020 →)
DETR y RF-DETR: pipelines limpios basados en atención, sin anchors predefinidos ni supresión de no máximos (NMS). Arquitectura más simple y generalizable.
Redes neuronales convolucionales (CNN)
Las CNN incorporan localidad e invariancia aproximada a traslaciones. Siguen dentro de muchos detectores actuales, y una CNN también capta contexto global si se le añaden capas de atención o un campo receptivo grande.
Capa convolucional
Un filtro de 3 × 3 recorre la imagen: cada píxel de salida es la suma del píxel y sus ocho vecinos, cada uno multiplicado por su peso. Cambia el filtro y mira qué se enciende; toca o pasa el ratón por las imágenes para ver la cuenta.
Filtros escritos a mano y calculados en tu navegador. Una CNN aprende sus pesos durante el entrenamiento, y los de su primera capa acaban pareciéndose a estos.
Esta página recoge el filtro de bordes verticales: pesos negativos a la izquierda y positivos a la derecha, de modo que la suma es grande donde la luz cambia en horizontal y cero en las zonas lisas. En el punto marcado, sobre una arista del edificio de la izquierda, la salida vale 419. El filtro de bordes horizontales es el mismo girado 90 grados y enciende cornisas y filas de ventanas. El desenfoque promedia los vecinos y el realce resta los vecinos al centro. Una capa convolucional aplica decenas de filtros como estos a la vez, y las capas siguientes combinan sus mapas para detectar texturas, partes y objetos.
Detectores de dos etapas
- R-CNN (2014): unas 2.000 zonas por imagen y la CNN pasa por cada una. Muy lento.
- Fast y Faster R-CNN (2015): la CNN se pasa una sola vez y las zonas las propone otra red.
- Precisos, pero lejos del tiempo real.
R-CNN (2014)
Fast R-CNN (2015)
- R-CNN pasaba la CNN 2.000 veces; Fast R-CNN, una.
- Clase y caja se aprenden juntas, en la misma red.
- Lo lento sigue siendo proponer las zonas: un segundo y medio por imagen.
Faster R-CNN (2015)
Velocidad de la familia R-CNN
La tabla compara tres generaciones. Método de propuestas: Selective Search en RCNN y Fast RCNN, RPN en Faster RCNN. Tiempo de generación: 1500 ms, 1500 ms y 10 ms. Predicción sobre las propuestas por imagen: 47000 ms, 320 ms y 190 ms. Factor de aceleración: 1×, 25× y 250×.
YOLO: una sola pasada
- Sin etapa de propuestas: tiempo real desde la primera versión (2016).
- Varias celdas ven el mismo objeto: hace falta NMS al final.
- Hay muchas versiones, de grupos distintos; las de Ultralytics tienen licencia AGPL.
YOLO: detección como regresión directa
Detectores de una etapa
Comprueba en qué se diferencia un detector de una etapa.
Respuesta C. Exacto: esa es la idea central, aunque los detalles cambian entre versiones.
Un detector de una etapa predice cajas y clases en una única pasada sobre toda la imagen, sin una fase previa que proponga regiones candidatas.
Evolución de la familia YOLO (2016-2026)
- 2016 · YOLOv1Detección en tiempo real con una sola pasada de la red. Mucho más rápido que los detectores de dos etapas, aunque menos preciso.
- 2018 · YOLOv3Predicción a tres escalas y backbone Darknet-53, con mejor detección de objetos pequeños.
- 2020 · YOLOv4Backbone CSPDarknet53 y trucos de entrenamiento ("Bag of Freebies", como el aumento Mosaic) que mejoran la precisión sin frenar la inferencia.
- 2020 · YOLOv5Primera versión en PyTorch, de Ultralytics. Popularizó YOLO por lo fácil que era entrenarlo y exportarlo.
- 2022 · YOLOv7Arquitectura E-ELAN. Superó en velocidad y precisión a los detectores conocidos entre 5 y 160 FPS.
- 2023 · YOLOv8De Ultralytics. Pasó a una cabeza sin anchors y unificó en una API detección, segmentación, pose y clasificación.
- 2024 · YOLOv9PGI y GELAN para que la información útil no se pierda en redes profundas. La rama auxiliar se quita al inferir y no añade coste.
- 2024 · YOLOv10De la Universidad de Tsinghua. Prescinde del NMS al inferir.
- 2024 · YOLO11Sucesor de YOLOv8 en Ultralytics, sin la "v" en el nombre: más precisión con menos parámetros.
- 2025 · YOLO12Versión comunitaria centrada en la atención: introduce atención por áreas sin perder el tiempo real.
- 2026 · YOLO26Última de Ultralytics (enero). Cabeza uno a uno opcional sin NMS y regresión sin DFL, pensada para edge.
Límites de las CNN
Miran por zonas
Cada filtro ve un trozo pequeño de la imagen. Para relacionar cosas alejadas hacen falta muchas capas.
Piezas a mano
Los detectores con CNN suelen necesitar NMS y otros ajustes que se eligen a mano.
Lo que cambia con transformers
La atención relaciona toda la imagen desde el principio, y DETR prescinde del NMS.
NMS: el umbral de solapamiento
El detector propone varias cajas por coche. El NMS se queda con la de mayor puntuación y borra las que se solapan con ella por encima del umbral. Baja el umbral y desaparece un coche entero; súbelo y vuelven los duplicados.
Cinco cajas candidatas sobre dos coches. El detector las propone todas antes de filtrar.
Cajas que quedan2
Suprimidas3
Esta página recoge el estado con umbral 0,50. El algoritmo recorre las cajas de mayor a menor puntuación: cada superviviente suprime a las que solapan con ella por encima del umbral. Con 0,20 la caja del primer coche llega a suprimir la del segundo, porque su IoU es 0,25, y se pierde un objeto real. Con 0,80 no se suprime nada y quedan las cinco cajas. No hay un valor universalmente correcto: depende de cuánto se solapen los objetos del dominio, y por eso DETR y RF-DETR se entrenan para no necesitarlo.
DETR: detección con transformers
- Encoder: cada zona de la imagen tiene en cuenta toda la imagen.
- Decoder: devuelve 100 salidas; cada una es un objeto o "nada".
- Sin anchors ni NMS: cada objeto sale una sola vez.
Esquema de DETR
RF-DETR
Backbone DINOv2 preentrenado
Parte de un vision transformer entrenado sin etiquetas sobre millones de imágenes (tema 4). Por eso se adapta rápido a un dominio nuevo con pocos datos.
Atención deformable en el decoder
En lugar de mirar todos los píxeles, el decoder consulta unos pocos puntos de muestreo en cada escala. Así trabaja con mapas de alta resolución sin disparar el coste, lo que ayuda con los objetos pequeños.
Sin anchors ni NMS, en varios tamaños
Como todo DETR, no necesita anchors predefinidos ni supresión de no máximos. Una búsqueda de arquitectura (NAS) entrena una sola red y saca de ella versiones de nano a 2XL sin reentrenar.
Ultralytics y su licencia
Licencia problemática
Código y pesos van con AGPL-3.0, que obliga a publicar el código de la aplicación que los incorpora cuando la distribuyes, y también cuando solo la ofreces como servicio en red. Para evitarlo hay que pagar su licencia comercial. AGPL es open source, pero choca con la mayoría de usos industriales.
Apropiación de marca YOLO
Sus versiones (YOLOv5, YOLOv8, YOLO11 y YOLO26) se presentan como la continuación de YOLO, pero no vienen de Joseph Redmon ni de la línea académica que siguió su trabajo. Como otros grupos numeran también sus YOLO (v6, v7, v9, v10, v12), el número ya no dice de dónde sale cada modelo.
Código no modular
Está pensado para usarse a través de su CLI y de su API de alto nivel. Estudiarlo por dentro o adaptarlo a un proyecto de investigación cuesta bastante más.
Limitaciones académicas
Varias versiones salieron sin un paper que describa la arquitectura y los experimentos, lo que dificulta reproducir resultados y explicarlos en clase.
Las condiciones de licencia se revisan por versión y por artefacto: el código y los pesos pueden tener términos distintos y cambiar entre versiones. Conviene comprobar la licencia vigente del repositorio y del checkpoint concreto antes de decidir.
Por qué RF-DETR en el curso
Licencia Apache 2.0
Permite usarlo, modificarlo y venderlo en industria, investigación y enseñanza, sin obligación de publicar tu código.
Arquitectura moderna y clara
Es un DETR: backbone, decoder y salida directa, sin anchors ni NMS. Entenderlo es entender cómo se construyen los detectores actuales.
Código limpio y modular
Se lee y se modifica bien, y el mismo paquete sirve para inferir y para reentrenar con tus datos.
Velocidad y precisión
A igual latencia en una T4, da más mAP en COCO que YOLO11 según las curvas de su repositorio (siguiente pantalla).
RF-DETR vs YOLO en producción
Las curvas proceden del repositorio de RF-DETR y se miden en un hardware concreto. Antes de decidir conviene reproducir la medida en el dispositivo de destino, con el tamaño de entrada, la precisión numérica y el tamaño de lote que se vayan a usar realmente.
Tiempo real
Medir bien
FPS es 1 entre el tiempo por fotograma. Se mide con un fotograma cada vez, tras unas pasadas de calentamiento y contando todo: leer, preparar la imagen, el modelo, el posproceso y el dibujo.
Ganar velocidad sin reentrenar
- Un modelo más pequeño: RF-DETR tiene versiones nano, small, medium, base y large.
- Menos resolución de entrada y media precisión (FP16).
- Detectar uno de cada N fotogramas y dejar que el seguidor cubra los demás.
Llevarlo a producción
Exportar el modelo a ONNX y optimizarlo para el hardware: TensorRT en GPU de NVIDIA, OpenVINO en procesadores de Intel. Así están medidas las curvas de la pantalla anterior.
Equipos pequeños
Junto a la cámara, en un NVIDIA Jetson por ejemplo, se usan las versiones pequeñas y la exportación optimizada. La cifra que vale es la medida en ese equipo, no la del portátil.
En el ejercicio de vídeo del cuaderno 1, RF-DETR medium procesa 200 fotogramas de 960 × 540 a unos 25 FPS en una RTX 3080 Ti de portátil, contando el proceso entero; una T4 de Colab va más despacio. Las versiones small y nano son más rápidas y algo menos precisas. Para decidir, se mide en el dispositivo de destino con la resolución, la precisión numérica y el tamaño de lote reales.
IoU (Intersection over Union)
IoU0,33
Umbrales típicos de IoU
- IoU ≥ 0,5: el umbral clásico de PASCAL VOC para contar un acierto.
- IoU ≥ 0,75: más estricto, exige cajas casi exactas (AP75).
- IoU por debajo del umbral: la detección cuenta como False Positive (FP).
¿Por qué es importante?
- Sin IoU no habría forma de separar los aciertos (TP) de las falsas alarmas (FP).
- Es la base de las métricas que vienen después: precisión, recall, Average Precision (AP) y mean Average Precision (mAP).
- Mide la exactitud espacial de cada detección, además de si acierta la clase.
IoU vale 1 cuando ambas cajas coinciden y 0 cuando no comparten área. Para contar un acierto también tiene que coincidir la clase, y cada objeto real solo puede dar un acierto.
TP, FP y FN (no hay TN)
TP (True positives)
Detecciones correctas: cajas predichas que coinciden con objetos reales (IoU > umbral).
FP (False positives)
Falsas alarmas: cajas predichas donde no hay objeto real o con IoU por debajo del umbral.
FN (False negatives)
Objetos perdidos: objetos reales que el modelo no detectó.
Por qué NO existen True Negatives (TN) en detección de objetos
Precisión y recall
La importancia de la precisión
Mide la fiabilidad de las detecciones: con alta precisión hay pocos falsos positivos (detectar algo que no está o confundir su clase). Importa cuando una falsa alarma sale cara, como al contar inventario o cuando cada aviso obliga a parar una línea.
Precisión = TPTP + FP
Responde a: "De todas mis predicciones, ¿cuántas son correctas?".
La importancia del recall
Mide la capacidad de encontrar todos los objetos: con alto recall hay pocos falsos negativos (objetos presentes que no se detectan). Importa cuando perder uno es grave, como una persona en vigilancia o un tumor en imagen médica.
Recall = TPTP + FN
Responde a: "De todos los objetos reales, ¿cuántos he detectado?".
Calcula precisión y recall
Aplica las dos fórmulas a un recuento concreto.
Respuesta A. Exacto: precisión 3/(3+1) y recall 3/(3+2).
Con 3 TP, 1 FP y 2 FN: precisión = 3 / (3 + 1) = 0,75 y recall = 3 / (3 + 2) = 0,60. La precisión mira el denominador de las predicciones; el recall, el de los objetos reales.
F1: precisión y recall en un solo número
Cómo se calcula
F1 = 2 · Precisión · RecallPrecisión + Recall
Es la media armónica de las dos. Con el recuento de la pantalla anterior, precisión 0,75 y recall 0,60, da F1 = 0,67.
Por qué no la media de siempre
Un detector que marca un solo objeto, y acierta, tiene precisión 1,0 y recall 0,1. La media normal le daría 0,55. La F1 le da 0,18: si una de las dos falla, la F1 también.
Aciertos, falsas alarmas y objetos perdidos
Imagen generada con IA para el curso, con las cajas dibujadas como las daría un detector. Las dos falsas alarmas tienen confianzas bajas: un umbral de 0,50 las quitaría, pero también quitaría la naranja de abajo a la derecha, que tiene 0,42.
Umbral, precisión y recall
Sube el umbral y mira las dos cifras. No hay ningún punto en el que las dos valgan 1: toca elegir.
Precisión0,60
Recall1,00
TP 3 FP 2 FN 0
Esta página recoge el estado con umbral 0,30: tres aciertos y dos falsas alarmas (0,66 y 0,41), precisión 0,60 y recall 1. Con 0,50 se va la de 0,41: precisión 0,75, recall 1. Con 0,60 se pierde el objeto de 0,55: 0,67 y 0,67. Con 0,70 ya no queda ninguna falsa alarma, pero el recall es 0,67. La falsa alarma de 0,66 puntúa más que un acierto, así que ningún umbral deja las dos cifras en 1.
Umbral de confianza e IoU
El umbral de confianza decide qué predicciones se muestran; IoU evalúa su solapamiento.
Respuesta A. Exacto: el filtro elimina las puntuaciones que quedan por debajo del nuevo umbral.
Al subir el umbral suelen desaparecer predicciones de baja puntuación: pueden bajar los falsos positivos y también aumentar los falsos negativos. La curva precisión-recall estudia ese intercambio recorriendo muchos umbrales.
Qué error cuesta más
El umbral depende de qué error sale más caro en cada aplicación.
Prioriza el recall
No detectar a alguien que sí está es el fallo grave. Una falsa alarma cuesta una comprobación; un objeto perdido cuesta el incidente.
Qué hacer: baja el umbral de confianza y asume más falsos positivos. Añade una segunda comprobación, humana o automática, para filtrarlos.
Prioriza el recall, con revisión humana
Dejar pasar una pieza defectuosa llega al cliente; marcar una buena solo cuesta una revisión en planta.
Qué hacer: umbral bajo y una estación de revisión. Mide cuántas piezas buenas estás parando, porque ese es el coste que notará producción.
Prioriza la precisión
Contar de más esconde las roturas de stock: el sistema cree que hay producto y no lo repone a tiempo.
Qué hacer: sube el umbral hasta que apenas haya falsas alarmas y vigila el recuento frente a un conteo manual de control.
Busca el equilibrio y mide la tendencia
Aquí no importa cada persona concreta sino que el sesgo sea estable. Un error constante se corrige; uno que cambia con la hora o el clima, no.
Qué hacer: deja el umbral intermedio y valida sobre grabaciones de momentos distintos, no sobre una sola.
La regla general: si el coste de perder un objeto supera al de revisar una falsa alarma, baja el umbral; si es al revés, súbelo. Y en todos los casos, mide el efecto sobre tus propios datos, no sobre el benchmark.
AP y mAP
Recorrer el umbral de confianza traza la curva: con umbral 0,9 la precisión es alta y el recall bajo; con 0,1 ocurre lo contrario. AP50 y AP promediada entre varios umbrales de IoU responden a protocolos distintos y no son intercambiables.
Curva precisión-recall y AP
Ocho detecciones de una clase, de más a menos confianza, para seis objetos reales. Baja el umbral: cada detección que entra añade un punto a la curva. La AP es el área bajo la curva.
- 0,95TP
- 0,90TP
- 0,82FP
- 0,76TP
- 0,64TP
- 0,51FP
- 0,43FP
- 0,30TP
Precisión0,75
Recall0,50
AP, el área bajo la curva: 0,70
Esta página recoge el estado con umbral 0,76: cuatro detecciones aceptadas, tres aciertos y un falso positivo, con precisión 0,75 y recall 0,50. Cada acierto sube el recall un sexto; cada falso positivo baja la precisión sin mover el recall. Para el área, la curva se convierte en escalera: cada punto toma la mejor precisión que se alcanza a ese recall o a uno mayor. Con las ocho detecciones el recall llega a 0,83, porque un objeto no lo encuentra ninguna, y la AP vale 0,70.
Métricas operativas
Recall a precisión fija
"Recall al 95 % de precisión" (R@P95): cuánto encuentra el modelo si solo admites un 5 % de falsas alarmas entre lo que marca.
Falsos positivos por imagen
FPPI, o falsas alarmas por hora de vídeo: la cifra que entiende quien recibe los avisos. Se da junto al recall, por ejemplo "recall a 0,1 FPPI".
TPR a un TNR del 95 %
En clasificación y anomalías, donde sí hay negativos que contar: aceptando el 95 % de las piezas buenas, qué parte de las defectuosas detectas. Vuelve en el tema 4.
Límites de COCO
Las clases salen de los datos
Un checkpoint aprende las clases de sus datos. Tu aplicación puede necesitar otras.
Respuesta B. Exacto: una clase nueva pide datos propios o un modelo de vocabulario abierto, como los del tema 3.
Un detector de vocabulario cerrado solo puede nombrar las categorías con las que fue entrenado. Ampliarlo exige anotar y reentrenar, o cambiar a un enfoque guiado por texto.
Cómo evaluar un detector
Dónde medir
Un benchmark no sustituye datos representativos, latencia medida y análisis de errores.
Respuesta C. Exacto: la elección depende del problema, del entorno y de los errores que aceptas.
Un AP mejor en un benchmark público indica rendimiento sobre ese conjunto y ese protocolo. La decisión necesita además datos de tu dominio, latencia medida en el hardware de destino y revisión de los errores que importan.
Coste de anotar un dataset
Mueve los tres controles y mira cuántas horas cuesta anotar tus propias clases antes de entrenar.
Imágenes que anotar1200
Horas, con revisión incluida20
Jornadas de una persona3,3
Coste asumible para un conjunto propio. Aun así, empieza probando un detector guiado por texto (tema 3) para saber si hace falta.
Estimación de orden de magnitud. Suma un 30 % de revisión sobre el tiempo de anotación y cuenta 6 horas productivas por jornada.
La página recoge el caso de 4 clases, 300 imágenes por clase y 45 segundos por imagen. Las cifras que más se disparan son las clases y los segundos por imagen: anotar segmentación o puntos clave multiplica el tiempo respecto a poner cajas. Antes de asumir ese coste conviene comprobar cuánto resuelve un detector guiado por texto sin anotar nada, que se ve en el tema 3.
Antes de poner un detector en producción
Ocho comprobaciones antes de ponerlo en marcha.
- Conjunto de validación propioImágenes de tu dominio, tus cámaras y tus condiciones de luz. No basta el mAP del benchmark.
- Umbral elegido con criterioDecidido según qué error cuesta más en tu caso, no dejado en el valor por defecto.
- Latencia medida en el dispositivo realEnd to end, incluyendo carga, preprocesado y posprocesado. No el número del paper.
- Revisión visual de los erroresMira falsos positivos, falsos negativos y casos límite: ocluidos, pequeños, contraluz.
- Licencia comprobadaDel repositorio y de los pesos, en la versión concreta que vas a desplegar.
- Versión y revisión fijadasAnota el identificador del modelo y su revisión para poder reproducir el resultado.
- Comportamiento ante entradas rarasImagen vacía, muy oscura, resolución distinta, formato inesperado.
- Plan de seguimientoCómo vas a detectar que el rendimiento cae cuando cambien las condiciones.
Cuaderno 1: detección de objetos
Los ejercicios están en el cuaderno. El extra, si da tiempo, lo hacemos juntos; si no, queda para casa.
- Detectar objetos con RF-DETR
- Cambiar el umbral de confianza y contar
- Ejercicio: tu propia imagen
- Ajuste fino: jugadores, árbitros y balón de baloncesto
- Extra: quedarse solo con algunas clases
En Colab: Archivo, Guardar una copia en Drive, y Entorno de ejecución, GPU T4.