Tema 06: Otras tareas de visión
Modelos fundacionales en visión artificial
Tema 6: Otras tareas de visión
Día 2 del curso
- Web del curso
- datamecum.sergiovillanuevalopez.com
- Práctica
- Cuaderno 6 en Colab (6_Otras_Tareas.ipynb)
- Profesor
- Sergio Villanueva · Datamecum
6. Otras tareas de visión
Estimación de pose
Identificar y localizar puntos clave del cuerpo humano o de objetos en imágenes y vídeos.
OCR moderno
Extraer texto de imágenes y documentos, transformándolo en datos editables y buscables.
Superresolución
Mejorar la calidad y resolución de imágenes o vídeos, a menudo a partir de datos de baja resolución.
Eliminación de fondo
Segmentar y eliminar automáticamente el fondo de una imagen, aislando el objeto principal.
Estimación de profundidad
Calcular la distancia de los objetos en una escena respecto a la cámara, creando mapas de profundidad.
Correspondencias entre imágenes
Encontrar correspondencias o similitudes entre dos o más imágenes para tareas como la localización o el reconocimiento.
Estimación de pose humana
Enfoques de modelado: top-down vs. bottom-up
Top-down (alta precisión)
Proceso: primero detecta personas (cajas), luego estima la pose dentro de cada una.
Ejemplos: HRNet, ViTPose.
- Pros: máxima precisión, robustez a distintas escalas.
- Contras: lento en grandes aglomeraciones, con coste lineal en el número de personas.
Bottom-up (alta velocidad)
Proceso: detecta todos los puntos clave de la imagen a la vez, luego los agrupa en personas.
Ejemplo: OpenPose.
- Pros: velocidad constante, independiente del número de personas.
- Contras: menos preciso, el agrupamiento de puntos es complejo.
Single-stage (el equilibrio moderno)
Proceso: redes como YOLO-Pose o RF-DETR Keypoint predicen cajas y puntos simultáneamente en una sola pasada (end-to-end).
- Ventaja: velocidad en tiempo real con precisión competitiva, ideal para dispositivos edge.
Modelos de pose
-
MediaPipe (Google)
Funciona bien en CPU y en el móvil. Pensado para fitness, filtros AR y escenas con una o pocas personas cerca de la cámara. Tiene también modelos para manos y cara.
-
YOLO-Pose (Ultralytics)
YOLOv8, YOLO11 y YOLO26 en versión pose: varias personas en una pasada, buen equilibrio entre velocidad y precisión y fáciles de reentrenar. Licencia AGPL-3.0, como el resto de Ultralytics (tema 1).
-
OpenPose (CMU)
El pionero académico que estableció las bases. Aunque influyente, hoy en día es computacionalmente pesado en comparación con opciones más modernas.
-
HRNet
Prioridad en precisión extrema. Cuando la exactitud es crítica (análisis médico, biomecánico) y la velocidad de inferencia es secundaria.
-
ViTPose y RF-DETR Keypoint (los del cuaderno)
RF-DETR Keypoint (Roboflow, junio de 2026, Apache 2.0) es el detector del tema 1 con una salida más: cajas y 17 puntos en una pasada. Roboflow da 71,8 AP en COCO a 9,8 ms en una T4. Todavía es una versión preliminar y hay que instalarlo aparte, así que en el cuaderno va en el Extra. El principal es ViTPose, top-down: RT-DETR encuentra a las personas y ViTPose les pone los puntos.
Métrica OKS
La tolerancia de cada punto
La tolerancia de cada articulación sale de cómo de acuerdo se ponen los anotadores humanos.
Respuesta A. Exacto: cinco píxeles pesan más en una persona pequeña y en un punto fácil de marcar, como el ojo.
Las constantes por articulación se estimaron midiendo la dispersión entre anotadores. Donde las personas coinciden mucho, como los ojos, el modelo tiene menos margen.
Para qué se usa la pose
Deporte y fitness
- Entrenador IA: conteo preciso de repeticiones (sentadillas, flexiones…).
- Análisis de técnica: medición de ángulos corporales para prevenir lesiones.
- Por ejemplo, Peloton Guide cuenta repeticiones con una cámara.
Seguridad industrial y ergonomía
- Detección de posturas peligrosas: identificar movimientos de riesgo al levantar peso.
- "Hombre caído": alertas de seguridad en tiempo real en entornos peligrosos.
- Optimización: mejora de la eficiencia en líneas de montaje.
Salud y rehabilitación
- Fisioterapia remota: validación de ejercicios en casa sin supervisión presencial.
- Análisis de marcha: detección temprana de patologías neurológicas o musculoesqueléticas.
El gran reto: oclusiones y reconstrucción 3D
OCR: leer texto y sacar datos de documentos
El pasado: enfoque clásico (Tesseract)
Metodología: hasta la versión 3 segmentaba caracteres con reglas y contornos; desde la 4 (2018) reconoce líneas con una red LSTM, pero sigue necesitando texto limpio y horizontal.
Limitaciones comunes:
- Falla con texto curvo, distorsionado o en perspectivas inusuales.
- Poca robustez ante fuentes manuscritas complejas o variaciones tipográficas.
- Sensible al ruido de fondo, baja resolución o iluminación deficiente.
- Requiere preprocesamiento intensivo (normalización, binarización).
El presente: transformers para OCR (TrOCR y VLM)
Arquitectura end-to-end: utiliza Vision Transformers (ViT) para codificar la imagen de forma global y un decoder de texto (en TrOCR, inicializado desde RoBERTa) genera la secuencia de caracteres.
Lo que cambia: lee la línea entera de una vez, con el contexto de las letras vecinas, en lugar de reconocer caracteres sueltos.
Estado del arte (SOTA):
- TrOCR (Microsoft): un referente específico para tareas de OCR.
- Qwen3-VL y Qwen3.5: VLM que leen y además razonan sobre el texto, por ejemplo devolviendo en JSON los campos de una factura.
Herramientas de OCR
EasyOCR
Es ligera, soporta más de 80 idiomas y funciona eficientemente en CPU. Ideal para prototipos rápidos y escenarios donde no se dispone de GPU.
TrOCR (Hugging Face)
Muy preciso en texto impreso y en manuscrito, según la variante. Lee una sola línea ya recortada, así que necesita un detector de texto delante. Va mucho mejor con GPU.
VLM (Qwen, Gemini, GPT): documentos estructurados
Para facturas, tablas y formularios. Devuelven los datos ya ordenados, por ejemplo en JSON, en lugar de texto suelto, y pueden razonar sobre lo que leen.
Salida de cada tipo de OCR
La misma foto de una placa, leída de tres formas. Cambia la herramienta y mira qué recibe tu programa.
Qué herramienta usas
C1 C5 R6 C4 PULSE
T1 R3 MCP6004
IC2 R4 R11 R10 R5 R9
J1 VCC EN VOUT GND
R1 R2 R7 R8
Place finger SENSOR
Easy Pulse
www.Embedded-Lab.com
texto posición tamaño
PULSE (357, 70) 44 x 13
MCP6004 (163, 122) 47 x 16
IC2 (161, 189) 36 x 18
VCC ( 71, 221) 36 x 19
GND ( 71, 283) 38 x 19
R1 (126, 317) 25 x 16
Place finger (250, 252) 120 x 26
SENSOR (282, 281) 55 x 19
Easy Pulse (103, 344) 135 x 34
www.Embedded-Lab.com ( 82, 378) 175 x 23
{
"placa": "Easy Pulse",
"fabricante": "www.Embedded-Lab.com",
"integrado": "MCP6004",
"conector": {
"referencia": "J1",
"pines": ["VCC", "EN", "VOUT", "GND"]
},
"sensor": {
"etiqueta": "SENSOR",
"instruccion": "Place finger"
},
"resistencias": ["R1", "R2", "R3", "R4", "R5", "R6",
"R7", "R8", "R9", "R10", "R11"]
}
Las cajas de esta pantalla están medidas a mano sobre la foto para ilustrar el formato de salida, no las ha producido un OCR. Tres cosas que se ven en esta imagen y que aparecen en cualquier planta: el texto de la serigrafía es de bajo contraste sobre verde y el brillo del cobre lo rompe, hay texto a distintas escalas en la misma foto, y varias referencias quedan parcialmente tapadas por los componentes. Por eso la resolución de captura manda más que el modelo: con menos de veinte píxeles de altura por carácter, ningún OCR actual lee de forma fiable. Sobre latencia y coste, Tesseract corre en CPU en decenas de milisegundos, un modelo de detección más reconocimiento ronda las décimas de segundo en GPU, y un VLM se va a varios segundos por imagen, así que en línea suele combinarse: detección rápida siempre y VLM solo sobre las piezas dudosas.
Superresolución: ampliar una imagen
Usos y límites
Restauración de archivos
- Digitalización de fotos antiguas o documentos históricos dañados.
- Mejora de contenido multimedia antiguo (remasterización).
Medicina e imagen satelital
- Mejorar la legibilidad de escáneres médicos.
- Zoom en imágenes aéreas o satelitales.
E-commerce y marketing
- Mejorar fotos de productos de baja calidad enviadas por usuarios o proveedores.
- Lograr una apariencia profesional en la web para el catálogo de productos.
El detalle que añade el modelo
Lo que aparece al ampliar puede venir del modelo, no del sensor.
Respuesta B. Exacto: la mejora visual no convierte el detalle generado en evidencia.
La superresolución sintetiza textura plausible a partir de patrones aprendidos. En un contexto diagnóstico, cualquier estructura nueva debe comprobarse sobre la imagen original.
Quitar el fondo
Correspondencias entre imágenes (matching)
La nueva era: deep learning
Detector (SuperPoint, DISK)
Una red que localiza los puntos más distintivos de la imagen (esquinas, texturas) y describe cada uno con un vector. Aguanta mejor que SIFT los cambios fuertes de luz y de punto de vista.
Matcher (LightGlue)
Un Transformer que compara los puntos de las dos imágenes, decide cuáles se corresponden y descarta los que no tienen pareja. Los errores geométricos que se le escapan se filtran después comprobando la geometría (RANSAC).
¿Cuánto ha girado la foto?
Gira y mueve la segunda foto. Las líneas unen los puntos que el matching empareja, y con esas parejas se calcula el giro.
Parejas encontradas10
Giro calculado20,0°
El modelo de matching solo da parejas de puntos. El giro y el desplazamiento salen de una cuenta sobre esas parejas: se busca el giro que mejor lleva los puntos de la primera foto a los de la segunda. Con dos parejas buenas ya se puede calcular, y con más el resultado es más estable aunque cada punto tenga un poco de error. Esta pantalla simula las parejas sobre la misma foto; un modelo como LightGlue las encuentra en fotos distintas de verdad.
Para qué sirve el matching
Fotogrametría (SfM)
Al identificar y conectar puntos coincidentes en múltiples fotos de una escena, se puede reconstruir la geometría 3D del objeto y la posición de la cámara en cada toma.
SLAM (robótica)
Un robot utiliza el matching de características para comprender su posición dentro de un entorno y construir un mapa del mismo, incluso mientras se mueve y explora.
Panoramas (stitching)
Permite fusionar sin problemas varias imágenes superpuestas en una única foto de gran formato o una vista de 360 grados, eliminando duplicados y alineando las perspectivas.
Profundidad desde una sola foto
Depth Anything V2/V3
Un modelo fundacional con encoder DINOv2. La V2 se entrenó con 595.000 imágenes sintéticas etiquetadas y 62 millones de imágenes reales con pseudoetiquetas.
Capacidad
Genera un mapa de profundidad (heatmap) donde el color indica la distancia relativa, revelando la estructura 3D subyacente.
Robustez
Aguanta interiores, exteriores y escenas con mucho detalle. Cristales y espejos, que hacían fallar a la V1, los maneja mucho mejor gracias a los datos sintéticos; aun así, compruébalo con tus imágenes.
Recortar una foto por distancia
El mapa de profundidad de la pantalla anterior, usado como filtro: todo lo que queda más lejos que el corte se aclara. No hacen falta clases ni etiquetas: basta un umbral sobre la cercanía.
Imagen que se conserva42 %
Mapa precalculado, el de la pantalla anterior; el corte se aplica en tu navegador. La escala es relativa: 100 no equivale a ninguna distancia en metros.
Esta página recoge el corte en 100 de 255, que conserva el 42 % de la imagen: la trasera del camión, el asfalto cercano y el coche de la derecha. El costado del camión se aleja de la cámara y queda fuera. La pantalla trasera, que muestra la carretera de delante, se conserva entera porque el modelo mide a qué distancia está la superficie de la pantalla; la carretera que aparece en ella no cuenta. Con el corte en 30 solo desaparece el cielo; desde 130 el camión entero queda al otro lado.
Aplicaciones de la profundidad
Efecto retrato (bokeh)
Desenfocar el fondo sintéticamente, creando imágenes con una profundidad de campo profesional y destacando el sujeto principal.
Robótica y navegación
Permitir que robots y vehículos autónomos detecten obstáculos y comprendan su entorno 3D, utilizando solo una cámara de bajo coste.
Generación de nubes de puntos
Convertir una foto plana en una estructura 3D navegable (malla o nube de puntos) al combinar la imagen RGB con su mapa de profundidad.
Recorte por distancia
Un umbral sobre el mapa elimina lo que queda más lejos (o más cerca) de lo que interesa, sin clases ni etiquetas.
Profundidad relativa o en metros
Un mapa normalizado ordena distancias, pero no las mide.
Respuesta C. Exacto: un mapa relativo ordena distancias, pero no las mide.
Un mapa relativo dice qué está más cerca que qué. Para responder "a cuántos metros" hacen falta calibración de cámara, una referencia conocida o un modelo entrenado para profundidad métrica.
Casos por sector
Vigilancia y seguridad
Detectar y seguir personas y vehículos, contar los que entran en una zona, avisar de una caída con la pose. RF-DETR con un seguidor (tema 1) y ViTPose o RF-DETR Keypoint (este tema).
Ojo: el Reglamento europeo de IA prohíbe desde febrero de 2025, salvo excepciones tasadas, la identificación biométrica remota en tiempo real en espacios públicos con fines policiales y el reconocimiento de emociones en el trabajo.
Industria
Defectos sin ejemplos de defecto, conteo de piezas, lectura de lotes y etiquetas, medidas con máscaras. DINOv3 con banco de normalidad (tema 4), SAM (tema 5) y OCR (este tema).
Ojo: luz y encuadre estables, y un umbral fijado con piezas buenas.
Robótica
Saber qué está cerca con una sola cámara, recortar el objeto que hay que coger, encontrar objetos nuevos por su nombre. Depth Anything (este tema), SAM 2 (tema 5) y Grounding DINO (tema 3).
Ojo: esta profundidad es relativa; para coger un objeto hacen falta metros.
Automoción
Vehículos, peatones y señales, la calzada separada del resto, distancias y matrículas. Detectores en tiempo real (tema 1), segmentación (tema 5), profundidad y OCR (este tema).
Ojo: tiempo real en el hardware del coche, y noche, lluvia y contraluz en los datos de validación.
Las prohibiciones del artículo 5 del Reglamento (UE) 2024/1689 se aplican desde el 2 de febrero de 2025. Entre ellas están la identificación biométrica remota en tiempo real en espacios de acceso público con fines policiales, salvo excepciones tasadas, y el reconocimiento de emociones en el lugar de trabajo y en centros educativos, salvo por motivos médicos o de seguridad. Contar personas sin identificarlas no entra en esas prohibiciones, pero sigue sujeto al RGPD. Para la profundidad métrica hace falta un modelo entrenado para ello, una cámara estéreo o calibración.
Antes de usar cualquiera de estas seis
Seis comprobaciones comunes a tareas muy distintas.
- Sabes qué es medida y qué es generaciónPose y profundidad estiman; superresolución sintetiza. No se usan igual como evidencia.
- La licencia permite tu usoVarias de estas familias tienen restricciones comerciales. Compruébalo por modelo.
- La escala está resueltaSi necesitas metros, un mapa relativo no sirve: hace falta calibración o un modelo métrico.
- Probado con tus imágenesResolución, encuadre y calidad reales, no las fotos de la demo.
- Sin diagnóstico automáticoEn medicina o seguridad, revisión humana sobre la imagen original.
- Coste por imagen calculadoSi vas a procesar miles, mide tiempo y memoria antes de comprometerte.
Cuaderno 6: otras tareas
Seis tareas, cada una por separado. Si no da tiempo a todas, el resto queda para casa.
- Pose y medir un ángulo
- OCR
- Superresolución
- Quitar el fondo
- Profundidad con una sola foto
- Emparejar puntos entre dos fotos
En Colab: Archivo, Guardar una copia en Drive, y Entorno de ejecución, GPU T4.