Datamecum
Material

Tema 01: Detección de objetos

Qué es la visión artificial

La visión artificial es la disciplina de la inteligencia artificial que busca capacitar a las máquinas para extraer información significativa y comprender el mundo a partir de imágenes y vídeos digitales, imitando la percepción humana.

Comparación entre visión humana y visión computacional ante una misma escena: el ojo y el cerebro frente a un sensor y un ordenador.

La brecha semántica: ¿cómo lo ve un humano vs. una máquina?

Visión humana

Inmediatamente identificamos "un gato naranja durmiendo en un sofá" y comprendemos su contexto.

Visión computacional

Una máquina percibe una compleja matriz de millones de píxeles, cada uno con valores numéricos RGB como [255, 128, 64…].

Tareas principales en visión artificial

Clasificación

Asigna una etiqueta a la imagen entera: dice qué hay, no dónde.

Detección de objetos

Encierra cada objeto en un recuadro delimitador y le asigna una clase.

Segmentación

Define el contorno exacto de cada objeto a nivel de píxel.

Detección de anomalías

Identifica eventos o datos inusuales que no coinciden con un patrón esperado.

Estimación de pose

Localiza puntos clave (articulaciones) en personas o animales para comprender su postura.

Otras

OCR, estimación de profundidad, superresolución, keypoint matching…

Un coche: la animación compara distintas tareas de visión sobre la misma imagen

¿Qué salida necesitas?

La misma imagen admite tareas distintas.

Quieres contar coches y localizar cada uno.

1. Detección de objetos

La detección de objetos va más allá de la simple clasificación. Su objetivo principal es localizar y clasificar múltiples objetos simultáneamente dentro de una imagen, proporcionando para cada uno una caja delimitadora, su categoría y una puntuación de confianza.

En qué se diferencia de las otras tareas:

  • Clasificación: identifica qué hay en la imagen (una etiqueta global).
  • Detección: localiza cada objeto con cajas y etiquetas múltiples.
  • Segmentación: delimita el contorno exacto píxel a píxel.
  • Detección de anomalías: indica si algo en la imagen se sale de lo normal.
Escena urbana con cajas delimitadoras sobre coches y peatones.

Familias de detectores

Hay muchos detectores. Se agrupan por la red que usan y por cómo sacan las cajas.

Familias de detectores. Basados en CNN: dos etapas (R-CNN, Fast R-CNN, Faster R-CNN) y una etapa (YOLO, SSD, RetinaNet). Basados en transformers: detectores DETR (DETR, Deformable DETR, RT-DETR, RF-DETR) y backbones ViT (ViT, DeiT, DINOv2), que no detectan y sirven de base. Detección con deep learning Basados en CNN Basados en transformers Dos etapas proponen zonas y luego clasifican Una etapa todo en una pasada Detectores DETR sin anchors ni NMS Backbones ViT no detectan: sirven de base R-CNN Fast R-CNN Faster R-CNN YOLO SSD RetinaNet DETR Deformable DETR RT-DETR RF-DETR ViT DeiT DINOv2

Evolución histórica de los detectores

Tres etapas en diez años.

  1. Two-Stage (2014-2016)

    R-CNN, Fast R-CNN, Faster R-CNN: arquitecturas de dos etapas que primero proponen regiones candidatas y luego las clasifican. Precisos pero complejos y lentos.

  2. One-Stage (2016 →)

    YOLO cambia el planteamiento: una sola red neuronal procesa la imagen completa en tiempo real, prediciendo cajas y clases simultáneamente mediante una cuadrícula.

  3. Transformers (2020 →)

    DETR y RF-DETR: pipelines limpios basados en atención, sin anchors predefinidos ni supresión de no máximos (NMS). Arquitectura más simple y generalizable.

Redes neuronales convolucionales (CNN)

Las redes neuronales convolucionales (CNN) son la base de casi todos los detectores anteriores a 2020 y siguen dentro de muchos actuales. Procesan la imagen directamente con capas que detectan, de forma jerárquica, bordes, texturas y patrones cada vez más complejos.

Animación de una red convolucional que transforma una imagen en mapas de características.

Al apilar capas, la red pasa de detectar bordes a reconocer partes de objetos y objetos enteros, sin que nadie programe esas características a mano.

Capa convolucional

Un filtro de 3 × 3 recorre la imagen: cada píxel de salida es la suma del píxel y sus ocho vecinos, cada uno multiplicado por su peso. Cambia el filtro y mira qué se enciende; toca o pasa el ratón por las imágenes para ver la cuenta.

Fachadas de edificios de una calle, en escala de grises y a baja resolución.
Entrada, 192 × 108 píxeles
Mapa de características con el filtro bordes verticales.
Mapa de características
Vecindario
174712218511242051122
Pesos
−101−202−101
Salida419

Se encienden los cambios de luz de izquierda a derecha: las aristas verticales de los edificios. El cielo, liso, queda negro. Un número negativo también se pinta claro: es el mismo borde, de claro a oscuro.

Filtros escritos a mano y calculados en tu navegador. Una CNN aprende sus pesos durante el entrenamiento, y los de su primera capa acaban pareciéndose a estos.

Detectores de dos etapas

Primero buscan dónde puede haber un objeto; después miran cada zona y deciden qué es.

Dos etapas: imagen, después propuestas de zonas (dónde) y después clase y caja de cada zona (qué). Imagen 1 · ¿Dónde? Propuestas de zonas cientos o miles por imagen 2 · ¿Qué? Clase y caja de cada zona una CNN mira cada zona
  • R-CNN (2014): unas 2.000 zonas por imagen y la CNN pasa por cada una. Muy lento.
  • Fast y Faster R-CNN (2015): la CNN se pasa una sola vez y las zonas las propone otra red.
  • Precisos, pero lejos del tiempo real.

R-CNN (2014)

Unas 2.000 zonas por imagen, y la CNN pasa por cada una. Muy lento.

Esquema de R-CNN: imagen de entrada, propuestas de región, recorte redimensionado, CNN que produce un vector de características y clasificadores SVM por clase.
Girshick et al. (2014), "Rich feature hierarchies for accurate object detection and semantic segmentation".

Fast R-CNN (2015)

La CNN pasa una sola vez por la imagen entera, y cada zona se recorta sobre lo que sale.

Fast R-CNN: la imagen pasa una vez por la CNN; las zonas propuestas por un algoritmo clásico se recortan sobre el mapa de características y cada recorte da clase y caja. Imagen CNN una sola vez Mapa de características Recortar cada zona Clase y caja Zonas propuestas algoritmo clásico, 1,5 s
  • R-CNN pasaba la CNN 2.000 veces; Fast R-CNN, una.
  • Clase y caja se aprenden juntas, en la misma red.
  • Lo lento sigue siendo proponer las zonas: un segundo y medio por imagen.

Faster R-CNN (2015)

Las zonas ya no las propone un algoritmo clásico, sino una red:

  • Una CNN saca las características de la imagen.
  • Una red pequeña propone zonas donde puede haber objetos.
  • Para cada zona, un clasificador da la clase y ajusta la caja.

Muy preciso, pero lento para vídeo.

Esquema de un detector de dos etapas: imagen, CNN, mapa de características, Region Proposal Network, propuestas, ROI pooling y clasificador.

Velocidad de la familia R-CNN

Tabla comparativa de RCNN, Fast RCNN y Faster RCNN por método y tiempo de generación de propuestas, tiempo de predicción por imagen y factor de aceleración.
El salto está en la generación de propuestas: Selective Search tarda 1500 ms y la RPN de Faster R-CNN, 10 ms.

YOLO: una sola pasada

La red mira la imagen una vez y devuelve todas las cajas a la vez, sin buscar zonas antes.

YOLO divide la imagen en una cuadrícula. La celda donde cae el centro del coche predice su caja. Después, el NMS quita las cajas repetidas. Cuadrícula sobre la imagen La celda donde cae el centro del objeto predice su caja, con su confianza y su clase. Todas a la vez. NMS: quitar repetidas celdas vecinas ven el mismo coche y salen cajas duplicadas
  • Sin etapa de propuestas: tiempo real desde la primera versión (2016).
  • Varias celdas ven el mismo objeto: hace falta NMS al final.
  • Hay muchas versiones, de grupos distintos; las de Ultralytics tienen licencia AGPL.

YOLO: detección como regresión directa

YOLO (You Only Look Once) reformula la detección como un problema de regresión único. La imagen se divide en una cuadrícula S×S, donde cada celda predice directamente las cajas delimitadoras y las probabilidades de clase de los objetos cuyo centro cae en ella.

La ventaja: una única pasada hacia adelante por la red permite velocidades de procesamiento en tiempo real (30+ FPS), manteniendo precisión competitiva. Esta arquitectura one-stage elimina la necesidad de generar propuestas de región por separado.

  • Cada celda predice múltiples cajas con sus scores de confianza.
  • Las predicciones ocurren simultáneamente para toda la imagen.
  • Ideal para aplicaciones que requieren latencia mínima.
Esquema de YOLOv1: cuadrícula S×S sobre la imagen, cajas con confianza y mapa de probabilidad de clase que se combinan en las detecciones finales.

Detectores de una etapa

Comprueba en qué se diferencia un detector de una etapa.

¿Qué describe la idea de un detector de una etapa?

Evolución de la familia YOLO (2016-2026)

Diez años de versiones publicadas por grupos distintos. El número no indica quién hizo cada modelo ni que herede el código del anterior.

  1. 2016 · YOLOv1Detección en tiempo real con una sola pasada de la red. Mucho más rápido que los detectores de dos etapas, aunque menos preciso.
  2. 2018 · YOLOv3Predicción a tres escalas y backbone Darknet-53, con mejor detección de objetos pequeños.
  3. 2020 · YOLOv4Backbone CSPDarknet53 y trucos de entrenamiento ("Bag of Freebies", como el aumento Mosaic) que mejoran la precisión sin frenar la inferencia.
  4. 2020 · YOLOv5Primera versión en PyTorch, de Ultralytics. Popularizó YOLO por lo fácil que era entrenarlo y exportarlo.
  5. 2022 · YOLOv7Arquitectura E-ELAN. Superó en velocidad y precisión a los detectores conocidos entre 5 y 160 FPS.
  6. 2023 · YOLOv8De Ultralytics. Pasó a una cabeza sin anchors y unificó en una API detección, segmentación, pose y clasificación.
  7. 2024 · YOLOv9PGI y GELAN para que la información útil no se pierda en redes profundas. La rama auxiliar se quita al inferir y no añade coste.
  1. 2024 · YOLOv10De la Universidad de Tsinghua. Prescinde del NMS al inferir.
  2. 2024 · YOLO11Sucesor de YOLOv8 en Ultralytics, sin la "v" en el nombre: más precisión con menos parámetros.
  3. 2025 · YOLO12Versión comunitaria centrada en la atención: introduce atención por áreas sin perder el tiempo real.
  4. 2026 · YOLO26Última de Ultralytics (enero). Cabeza uno a uno opcional sin NMS y regresión sin DFL, pensada para edge.

Límites de las CNN

Por qué se pasó de las CNN a los transformers en detección.

Miran por zonas

Cada filtro ve un trozo pequeño de la imagen. Para relacionar cosas alejadas hacen falta muchas capas.

Piezas a mano

Los detectores con CNN suelen necesitar NMS y otros ajustes que se eligen a mano.

Lo que cambia con transformers

La atención relaciona toda la imagen desde el principio, y DETR prescinde del NMS.

NMS: el umbral de solapamiento

El detector propone varias cajas por coche. El NMS se queda con la de mayor puntuación y borra las que se solapan con ella por encima del umbral. Baja el umbral y desaparece un coche entero; súbelo y vuelven los duplicados.

0,95 0,88 0,72 0,91 0,64

Cinco cajas candidatas sobre dos coches. El detector las propone todas antes de filtrar.

Cajas que quedan2

Suprimidas3

Una caja por coche: el umbral limpia los duplicados sin borrar objetos.

DETR: detección con transformers

Devuelve directamente una lista fija de objetos. Lo que sobra dice "aquí no hay nada".

DETR: imagen, CNN, encoder y decoder con 100 salidas. Cada salida es un objeto con su caja o nada. Imagen CNN Encoder entiende la imagen Decoder 100 salidas coche + caja persona + caja nada … hasta 100
  • Encoder: cada zona de la imagen tiene en cuenta toda la imagen.
  • Decoder: devuelve 100 salidas; cada una es un objeto o "nada".
  • Sin anchors ni NMS: cada objeto sale una sola vez.

Esquema de DETR

DETR (Facebook, 2020) usa un transformer y devuelve directamente la lista de objetos.

  • Una CNN saca las características.
  • El encoder relaciona todas las zonas de la imagen.
  • El decoder devuelve un número fijo de salidas, 100: cada una es un objeto con su caja o "nada".
  • Sin anchors ni NMS.
Arquitectura de DETR: encoder y decoder Transformer, object queries y cabezas FFN que predicen clase y caja.

RF-DETR

RF-DETR (Roboflow, 2025; publicado en ICLR 2026) es un detector en tiempo real de la familia DETR. Su versión 2XL fue el primer detector en tiempo real en pasar de 60 AP en COCO, y la nano da 48,0 AP, 5,3 más que D-FINE nano con una latencia parecida.

Backbone DINOv2 preentrenado

Parte de un vision transformer entrenado sin etiquetas sobre millones de imágenes (tema 4). Por eso se adapta rápido a un dominio nuevo con pocos datos.

Atención deformable en el decoder

En lugar de mirar todos los píxeles, el decoder consulta unos pocos puntos de muestreo en cada escala. Así trabaja con mapas de alta resolución sin disparar el coste, lo que ayuda con los objetos pequeños.

Sin anchors ni NMS, en varios tamaños

Como todo DETR, no necesita anchors predefinidos ni supresión de no máximos. Una búsqueda de arquitectura (NAS) entrena una sola red y saca de ella versiones de nano a 2XL sin reentrenar.

Ultralytics y su licencia

Ultralytics es muy popular, pero este curso necesita código abierto que se pueda leer por dentro y con licencias que no limiten ni la investigación ni el uso industrial.

Licencia problemática

Código y pesos van con AGPL-3.0, que obliga a publicar el código de la aplicación que los incorpora cuando la distribuyes, y también cuando solo la ofreces como servicio en red. Para evitarlo hay que pagar su licencia comercial. AGPL es open source, pero choca con la mayoría de usos industriales.

Apropiación de marca YOLO

Sus versiones (YOLOv5, YOLOv8, YOLO11 y YOLO26) se presentan como la continuación de YOLO, pero no vienen de Joseph Redmon ni de la línea académica que siguió su trabajo. Como otros grupos numeran también sus YOLO (v6, v7, v9, v10, v12), el número ya no dice de dónde sale cada modelo.

Código no modular

Está pensado para usarse a través de su CLI y de su API de alto nivel. Estudiarlo por dentro o adaptarlo a un proyecto de investigación cuesta bastante más.

Limitaciones académicas

Varias versiones salieron sin un paper que describa la arquitectura y los experimentos, lo que dificulta reproducir resultados y explicarlos en clase.

Por qué RF-DETR en el curso

RF-DETR es el detector de referencia del curso: su arquitectura es moderna y legible, y el proyecto es open source con licencia Apache 2.0.

Licencia Apache 2.0

Permite usarlo, modificarlo y venderlo en industria, investigación y enseñanza, sin obligación de publicar tu código.

Arquitectura moderna y clara

Es un DETR: backbone, decoder y salida directa, sin anchors ni NMS. Entenderlo es entender cómo se construyen los detectores actuales.

Código limpio y modular

Se lee y se modifica bien, y el mismo paquete sirve para inferir y para reentrenar con tus datos.

Velocidad y precisión

A igual latencia en una T4, da más mAP en COCO que YOLO11 según las curvas de su repositorio (siguiente pantalla).

RF-DETR vs YOLO en producción

La elección entre RF-DETR y YOLO depende de tus prioridades específicas de producción.

Consideraciones prácticas:

  • Licencia: los YOLO de Ultralytics usan AGPL-3.0, que obliga a publicar el código de la aplicación que los incorpora al distribuirla o servirla; RF-DETR usa Apache 2.0, que no lo exige.
  • Mantenibilidad: RF-DETR evita el ajuste manual de anchors y umbrales de NMS.
  • Adopción: YOLO tiene más tutoriales, integraciones y formatos de exportación probados, y más gente que ya lo conoce.
Dos gráficas sobre MS COCO que enfrentan latencia contra mAP para RF-DETR, LW-DETR, D-FINE y YOLO11.
Latencia frente a mAP en MS COCO, medida en T4 con TensorRT10 y FP16.

Tiempo real

Un vídeo normal va a 25 o 30 fotogramas por segundo (FPS). Para seguirlo en directo, todo el trabajo de un fotograma tiene que caber en 40 milisegundos a 25 FPS, o en 33 a 30 FPS.

Medir bien

FPS es 1 entre el tiempo por fotograma. Se mide con un fotograma cada vez, tras unas pasadas de calentamiento y contando todo: leer, preparar la imagen, el modelo, el posproceso y el dibujo.

Ganar velocidad sin reentrenar

  • Un modelo más pequeño: RF-DETR tiene versiones nano, small, medium, base y large.
  • Menos resolución de entrada y media precisión (FP16).
  • Detectar uno de cada N fotogramas y dejar que el seguidor cubra los demás.

Llevarlo a producción

Exportar el modelo a ONNX y optimizarlo para el hardware: TensorRT en GPU de NVIDIA, OpenVINO en procesadores de Intel. Así están medidas las curvas de la pantalla anterior.

Equipos pequeños

Junto a la cámara, en un NVIDIA Jetson por ejemplo, se usan las versiones pequeñas y la exportación optimizada. La cifra que vale es la medida en ese equipo, no la del portátil.

IoU (Intersection over Union)

La Intersection over Union (IoU) mide cuánto se solapan dos cajas delimitadoras: la que predice el modelo y la caja de verdad (ground truth) anotada a mano. Es lo que decide si una predicción cuenta como acierto (True Positive) o como falsa alarma (False Positive). Va de 0, sin solapamiento, a 1, cajas idénticas.

En la figura, la caja predicha está en rojo y la de verdad en verde. La IoU divide el área donde se superponen entre el área total que cubren las dos juntas.

Fórmula del IoU: área de solapamiento dividida entre área de unión, ilustrada con dos cajas que se superponen.
Verdad Predicción

IoU0,33

Por debajo de 0,5: contaría como falsa alarma (FP).

Umbrales típicos de IoU

  • IoU ≥ 0,5: el umbral clásico de PASCAL VOC para contar un acierto.
  • IoU ≥ 0,75: más estricto, exige cajas casi exactas (AP75).
  • IoU por debajo del umbral: la detección cuenta como False Positive (FP).

¿Por qué es importante?

  • Sin IoU no habría forma de separar los aciertos (TP) de las falsas alarmas (FP).
  • Es la base de las métricas que vienen después: precisión, recall, Average Precision (AP) y mean Average Precision (mAP).
  • Mide la exactitud espacial de cada detección, además de si acierta la clase.

TP, FP y FN (no hay TN)

TP (True positives)

Detecciones correctas: cajas predichas que coinciden con objetos reales (IoU > umbral).

FP (False positives)

Falsas alarmas: cajas predichas donde no hay objeto real o con IoU por debajo del umbral.

FN (False negatives)

Objetos perdidos: objetos reales que el modelo no detectó.

Por qué NO existen True Negatives (TN) en detección de objetos

La métrica de True Negatives, común en problemas de clasificación binaria, no aplica de la misma manera en la detección de objetos:

  • En clasificación binaria: TN = "predice que no hay gato y efectivamente no hay gato".
  • En detección de objetos: el modelo predice cajas delimitadoras en ubicaciones específicas donde cree que hay un objeto.
  • No existe el concepto explícito de "predecir ausencia de objeto en una ubicación".
  • Los sitios donde no se predice nada son infinitos: no se pueden contar.

Por esta razón, las métricas en detección de objetos se enfocan únicamente en TP, FP y FN, que son los únicos resultados que se pueden contar.

Precisión y recall

Saber si el modelo ha detectado algo no basta. La precisión dice cuánto puedes fiarte de lo que detecta; el recall, cuánto de lo que hay consigue encontrar.

La importancia de la precisión

Mide la fiabilidad de las detecciones: con alta precisión hay pocos falsos positivos (detectar algo que no está o confundir su clase). Importa cuando una falsa alarma sale cara, como al contar inventario o cuando cada aviso obliga a parar una línea.

Precisión = TPTP + FP

Responde a: "De todas mis predicciones, ¿cuántas son correctas?".

La importancia del recall

Mide la capacidad de encontrar todos los objetos: con alto recall hay pocos falsos negativos (objetos presentes que no se detectan). Importa cuando perder uno es grave, como una persona en vigilancia o un tumor en imagen médica.

Recall = TPTP + FN

Responde a: "De todos los objetos reales, ¿cuántos he detectado?".

Cómo se leen:

  • Precisión 0,9: el 90 % de las detecciones son correctas. Puedes fiarte de lo que dice haber encontrado.
  • Recall 0,8: ha encontrado el 80 % de los objetos que había. Se le escapa uno de cada cinco.

Las dos suelen tirar en direcciones opuestas, un trade-off, aunque la precisión no siempre sube al filtrar. Un modelo que detecta con mucha manga ancha para no perderse nada (recall alto) también da más falsas alarmas (precisión baja). El punto de equilibrio lo decide la aplicación.

Curvas de precisión y recall frente al umbral de confianza, que se cruzan al subir el umbral.

Calcula precisión y recall

Aplica las dos fórmulas a un recuento concreto.

Hay 3 TP, 1 FP y 2 FN. ¿Cuáles son precisión y recall?

F1: precisión y recall en un solo número

Para comparar dos umbrales o dos modelos a veces hace falta una sola cifra. La F1 junta precisión y recall, y baja en cuanto una de las dos es mala.

Cómo se calcula

F1 = 2 · Precisión · RecallPrecisión + Recall

Es la media armónica de las dos. Con el recuento de la pantalla anterior, precisión 0,75 y recall 0,60, da F1 = 0,67.

Por qué no la media de siempre

Un detector que marca un solo objeto, y acierta, tiene precisión 1,0 y recall 0,1. La media normal le daría 0,55. La F1 le da 0,18: si una de las dos falla, la F1 también.

  • Para elegir el umbral: el que da la F1 más alta es un buen punto de partida cuando los dos errores cuestan parecido.
  • Si un error cuesta más: la F-beta da más peso a uno de los dos. La F2, por ejemplo, prima el recall.
  • No sustituye a la AP: la F1 mira un solo umbral; la AP resume todos.

Aciertos, falsas alarmas y objetos perdidos

Naranjo con las cajas de un detector de naranjas: muchas cajas verdes sobre naranjas, dos cajas rojas sobre hojas y varias naranjas sin caja.
  • Verde, TP: 31 cajas sobre naranjas de verdad.
  • Rojo, FP: 2 cajas sobre hojas, con 0,42 y 0,48 de confianza.
  • Sin caja, FN: naranjas que no ha visto, como la de arriba a la izquierda o las tapadas por hojas.
  • TN: no se cuentan. ¿Cuántas "no naranjas" hay en la foto?

Precisión: 31 de 33 cajas, 0,94. Para el recall hay que contar a mano todas las naranjas, y eso es anotar.

Umbral, precisión y recall

Sube el umbral y mira las dos cifras. No hay ningún punto en el que las dos valgan 1: toca elegir.

Objeto real 0,92 · TP 0,78 · TP 0,55 · TP 0,66 · FP 0,41 · FP 0,24

Precisión0,60

Recall1,00

TP 3 FP 2 FN 0

Se ven todos los objetos, pero también sobran predicciones.

Umbral de confianza e IoU

El umbral de confianza decide qué predicciones se muestran; IoU evalúa su solapamiento.

El filtro cambia qué predicciones ves, no sus coordenadas.
Subes el umbral de confianza sin cambiar las predicciones candidatas. ¿Qué pasa con las cajas que se muestran?

Qué error cuesta más

El umbral depende de qué error sale más caro en cada aplicación.

¿Para qué usas el detector?

Prioriza el recall

No detectar a alguien que sí está es el fallo grave. Una falsa alarma cuesta una comprobación; un objeto perdido cuesta el incidente.

Qué hacer: baja el umbral de confianza y asume más falsos positivos. Añade una segunda comprobación, humana o automática, para filtrarlos.

AP y mAP

AP (Average Precision): es el área bajo la curva precisión-recall. Resume en un número lo bien que el modelo encuentra los objetos (recall alto) sin llenarse de falsos positivos (precisión alta). Cuanto más alta, mejor.

mAP (mean Average Precision): la métrica estándar para comparar detectores. Es la media de la AP de todas las clases del conjunto de evaluación. mAP@0.5 la calcula con IoU 0,5; mAP@[0.5:0.95], la métrica principal de COCO, la promedia además entre diez umbrales de 0,50 a 0,95.

Curva precisión-recall cuya área representa la average precision, con dos puntos marcados para umbrales de confianza 0.9 y 0.1.

Curva precisión-recall y AP

Ocho detecciones de una clase, de más a menos confianza, para seis objetos reales. Baja el umbral: cada detección que entra añade un punto a la curva. La AP es el área bajo la curva.

00,51 00,51 Recall Precisión
  1. 0,95TP
  2. 0,90TP
  3. 0,82FP
  4. 0,76TP
  5. 0,64TP
  6. 0,51FP
  7. 0,43FP
  8. 0,30TP

Precisión0,75

Recall0,50

AP, el área bajo la curva: 0,70

Con umbral 0,76 entra un acierto: el recall sube a 0,50 y la precisión queda en 0,75.

Métricas operativas

La mAP sirve para comparar modelos. Para ponerlos en marcha se fija un umbral, el punto de trabajo, y se mide lo que pasará con él.

Recall a precisión fija

"Recall al 95 % de precisión" (R@P95): cuánto encuentra el modelo si solo admites un 5 % de falsas alarmas entre lo que marca.

Falsos positivos por imagen

FPPI, o falsas alarmas por hora de vídeo: la cifra que entiende quien recibe los avisos. Se da junto al recall, por ejemplo "recall a 0,1 FPPI".

TPR a un TNR del 95 %

En clasificación y anomalías, donde sí hay negativos que contar: aceptando el 95 % de las piezas buenas, qué parte de las defectuosas detectas. Vuelve en el tema 4.

En detección no hay verdaderos negativos (pantalla "Errores"), por eso se habla de falsos positivos por imagen y no de TNR. El punto de trabajo se elige con datos de validación y se vigila después en producción.

Límites de COCO

  • COCO: 80 clases de objetos cotidianos (persona, coche, perro, silla…). Sirve para comparar modelos.
  • En una fábrica hacen falta otras clases: "tornillo oxidado", "conector suelto", "soldadura defectuosa". No están en COCO.
  • Adaptar el modelo exige anotar imágenes nuevas y entrenar: tiempo de anotación y de GPU.
  • Alternativa: detectores a los que se les escribe la clase en texto. Se ven en el tema 3.
Mosaico de imágenes de COCO anotadas con cajas y categorías de objetos cotidianos.

Las clases salen de los datos

Un checkpoint aprende las clases de sus datos. Tu aplicación puede necesitar otras.

Tu modelo solo conoce las clases de COCO y necesitas detectar un defecto nuevo.

Cómo evaluar un detector

Además de la mAP en COCO:

1. Medir en tu dominio específico: crea un conjunto de validación representativo de tus datos reales. Un modelo con 60 % mAP en COCO puede tener 40 % o 80 % en tu caso de uso particular.

2. Equilibrar velocidad y precisión: un detector con 2 % más de AP pero un 50 % más lento puede no compensar si necesitas procesar 30 FPS. Mide la latencia de extremo a extremo, no la cifra teórica del paper.

3. Analizar errores cualitativamente: inspecciona visualmente los casos de:

  • Falsos positivos (FP): detecciones donde no hay objeto.
  • Falsos negativos (FN): objetos que el modelo no detectó.
  • Casos límite: objetos parcialmente ocluidos, muy pequeños, o en condiciones de iluminación extrema.

Los patrones de error te dirán si necesitas más datos, data augmentation específico, o cambiar de arquitectura.

Dónde medir

Un benchmark no sustituye datos representativos, latencia medida y análisis de errores.

Un detector logra mejor AP en un benchmark publicado. ¿Basta para elegirlo?

Coste de anotar un dataset

Mueve los tres controles y mira cuántas horas cuesta anotar tus propias clases antes de entrenar.

Imágenes que anotar1200

Horas, con revisión incluida20

Jornadas de una persona3,3

Coste asumible para un conjunto propio. Aun así, empieza probando un detector guiado por texto (tema 3) para saber si hace falta.

Estimación de orden de magnitud. Suma un 30 % de revisión sobre el tiempo de anotación y cuenta 6 horas productivas por jornada.

Antes de poner un detector en producción

Ocho comprobaciones antes de ponerlo en marcha.

  1. Conjunto de validación propioImágenes de tu dominio, tus cámaras y tus condiciones de luz. No basta el mAP del benchmark.
  2. Umbral elegido con criterioDecidido según qué error cuesta más en tu caso, no dejado en el valor por defecto.
  3. Latencia medida en el dispositivo realEnd to end, incluyendo carga, preprocesado y posprocesado. No el número del paper.
  4. Revisión visual de los erroresMira falsos positivos, falsos negativos y casos límite: ocluidos, pequeños, contraluz.
  5. Licencia comprobadaDel repositorio y de los pesos, en la versión concreta que vas a desplegar.
  6. Versión y revisión fijadasAnota el identificador del modelo y su revisión para poder reproducir el resultado.
  7. Comportamiento ante entradas rarasImagen vacía, muy oscura, resolución distinta, formato inesperado.
  8. Plan de seguimientoCómo vas a detectar que el rendimiento cae cuando cambien las condiciones.

Cuaderno 1: detección de objetos

Los ejercicios están en el cuaderno. El extra, si da tiempo, lo hacemos juntos; si no, queda para casa.

  1. Detectar objetos con RF-DETR
  2. Cambiar el umbral de confianza y contar
  3. Ejercicio: tu propia imagen
  4. Ajuste fino: jugadores, árbitros y balón de baloncesto
  5. Extra: quedarse solo con algunas clases
Abrir en Colab