Datamecum
Material

Tema 06: Otras tareas de visión

6. Otras tareas de visión

Seis tareas más, cada una con su modelo fundacional. Es el tema extra: si no da tiempo a terminarlo en clase, queda para casa.

Estimación de pose

Identificar y localizar puntos clave del cuerpo humano o de objetos en imágenes y vídeos.

OCR moderno

Extraer texto de imágenes y documentos, transformándolo en datos editables y buscables.

Superresolución

Mejorar la calidad y resolución de imágenes o vídeos, a menudo a partir de datos de baja resolución.

Eliminación de fondo

Segmentar y eliminar automáticamente el fondo de una imagen, aislando el objeto principal.

Estimación de profundidad

Calcular la distancia de los objetos en una escena respecto a la cámara, creando mapas de profundidad.

Correspondencias entre imágenes

Encontrar correspondencias o similitudes entre dos o más imágenes para tareas como la localización o el reconocimiento.

Estimación de pose humana

Localizar los puntos del cuerpo de cada persona: hombros, codos, rodillas…

¿Qué es? Tarea de visión que localiza articulaciones clave (keypoints) para modelar la postura y el movimiento.

El estándar (COCO-17): se buscan típicamente 17 puntos.

  • Cabeza: nariz, ojos (2), orejas (2).
  • Tren superior: hombros (2), codos (2), muñecas (2).
  • Tren inferior: caderas (2), rodillas (2), tobillos (2).

El output: una lista de coordenadas (x, y) más un score de confianza por punto.

Esqueleto COCO de 17 puntos clave sobre una persona.

Con esos puntos ya se pueden medir ángulos, contar repeticiones o detectar que alguien se ha caído.

Enfoques de modelado: top-down vs. bottom-up

Cuál conviene según cuánta gente haya en la imagen.

Top-down (alta precisión)

Proceso: primero detecta personas (cajas), luego estima la pose dentro de cada una.

Ejemplos: HRNet, ViTPose.

  • Pros: máxima precisión, robustez a distintas escalas.
  • Contras: lento en grandes aglomeraciones, con coste lineal en el número de personas.

Bottom-up (alta velocidad)

Proceso: detecta todos los puntos clave de la imagen a la vez, luego los agrupa en personas.

Ejemplo: OpenPose.

  • Pros: velocidad constante, independiente del número de personas.
  • Contras: menos preciso, el agrupamiento de puntos es complejo.

Single-stage (el equilibrio moderno)

Proceso: redes como YOLO-Pose o RF-DETR Keypoint predicen cajas y puntos simultáneamente en una sola pasada (end-to-end).

  • Ventaja: velocidad en tiempo real con precisión competitiva, ideal para dispositivos edge.

Modelos de pose

Los que más vais a encontrar.

  1. MediaPipe (Google)

    Funciona bien en CPU y en el móvil. Pensado para fitness, filtros AR y escenas con una o pocas personas cerca de la cámara. Tiene también modelos para manos y cara.

  2. YOLO-Pose (Ultralytics)

    YOLOv8, YOLO11 y YOLO26 en versión pose: varias personas en una pasada, buen equilibrio entre velocidad y precisión y fáciles de reentrenar. Licencia AGPL-3.0, como el resto de Ultralytics (tema 1).

  3. OpenPose (CMU)

    El pionero académico que estableció las bases. Aunque influyente, hoy en día es computacionalmente pesado en comparación con opciones más modernas.

  4. HRNet

    Prioridad en precisión extrema. Cuando la exactitud es crítica (análisis médico, biomecánico) y la velocidad de inferencia es secundaria.

  5. ViTPose y RF-DETR Keypoint (los del cuaderno)

    RF-DETR Keypoint (Roboflow, junio de 2026, Apache 2.0) es el detector del tema 1 con una salida más: cajas y 17 puntos en una pasada. Roboflow da 71,8 AP en COCO a 9,8 ms en una T4. Todavía es una versión preliminar y hay que instalarlo aparte, así que en el cuaderno va en el Extra. El principal es ViTPose, top-down: RT-DETR encuentra a las personas y ViTPose les pone los puntos.

Métrica OKS

OKS (Object Keypoint Similarity) hace con los esqueletos lo que IoU hace con las cajas: convierte la distancia entre cada punto predicho y el real en una puntuación de 0 a 1, corregida por el tamaño de la persona y por lo difícil que es marcar esa articulación.

Por eso el mismo error no penaliza igual: 5 píxeles de error en el ojo, que los anotadores marcan con mucha precisión, cuestan bastante más que 5 píxeles en la cadera, cuya posición exacta es más difícil de fijar.

Comparación entre el esqueleto predicho y el real para ilustrar la evaluación con OKS.

La tolerancia de cada punto

La tolerancia de cada articulación sale de cómo de acuerdo se ponen los anotadores humanos.

Dos articulaciones fallan cinco píxeles. ¿Penaliza OKS igual las dos?

Para qué se usa la pose

Ejemplos en deporte, industria y salud.

Deporte y fitness

  • Entrenador IA: conteo preciso de repeticiones (sentadillas, flexiones…).
  • Análisis de técnica: medición de ángulos corporales para prevenir lesiones.
  • Por ejemplo, Peloton Guide cuenta repeticiones con una cámara.

Seguridad industrial y ergonomía

  • Detección de posturas peligrosas: identificar movimientos de riesgo al levantar peso.
  • "Hombre caído": alertas de seguridad en tiempo real en entornos peligrosos.
  • Optimización: mejora de la eficiencia en líneas de montaje.

Salud y rehabilitación

  • Fisioterapia remota: validación de ejercicios en casa sin supervisión presencial.
  • Análisis de marcha: detección temprana de patologías neurológicas o musculoesqueléticas.

El gran reto: oclusiones y reconstrucción 3D

El problema: la estimación de pose se complica cuando partes del cuerpo se ocultan entre sí o tras otros objetos, y se pierde información.

La solución: modelos avanzados emplean memoria temporal para rastrear y predecir oclusiones, o realizan inferencia 3D para "imaginar" las partes ocultas basándose en la anatomía y el contexto.

Aplicaciones de la estimación de pose en deporte, industria y salud.

OCR: leer texto y sacar datos de documentos

De Tesseract a TrOCR y los VLM.

El pasado: enfoque clásico (Tesseract)

Metodología: hasta la versión 3 segmentaba caracteres con reglas y contornos; desde la 4 (2018) reconoce líneas con una red LSTM, pero sigue necesitando texto limpio y horizontal.

Limitaciones comunes:

  • Falla con texto curvo, distorsionado o en perspectivas inusuales.
  • Poca robustez ante fuentes manuscritas complejas o variaciones tipográficas.
  • Sensible al ruido de fondo, baja resolución o iluminación deficiente.
  • Requiere preprocesamiento intensivo (normalización, binarización).

El presente: transformers para OCR (TrOCR y VLM)

Arquitectura end-to-end: utiliza Vision Transformers (ViT) para codificar la imagen de forma global y un decoder de texto (en TrOCR, inicializado desde RoBERTa) genera la secuencia de caracteres.

Lo que cambia: lee la línea entera de una vez, con el contexto de las letras vecinas, en lugar de reconocer caracteres sueltos.

Estado del arte (SOTA):

  • TrOCR (Microsoft): un referente específico para tareas de OCR.
  • Qwen3-VL y Qwen3.5: VLM que leen y además razonan sobre el texto, por ejemplo devolviendo en JSON los campos de una factura.

Herramientas de OCR

EasyOCR, TrOCR y VLM.

EasyOCR

Es ligera, soporta más de 80 idiomas y funciona eficientemente en CPU. Ideal para prototipos rápidos y escenarios donde no se dispone de GPU.

TrOCR (Hugging Face)

Muy preciso en texto impreso y en manuscrito, según la variante. Lee una sola línea ya recortada, así que necesita un detector de texto delante. Va mucho mejor con GPU.

VLM (Qwen, Gemini, GPT): documentos estructurados

Para facturas, tablas y formularios. Devuelven los datos ya ordenados, por ejemplo en JSON, en lugar de texto suelto, y pueden razonar sobre lo que leen.

Salida de cada tipo de OCR

La misma foto de una placa, leída de tres formas. Cambia la herramienta y mira qué recibe tu programa.

Placa de circuito impreso verde con serigrafía: Easy Pulse, www.Embedded-Lab.com, Place finger, SENSOR, PULSE y las referencias de los componentes.
Serigrafía de una placa real, con texto pequeño, girado por el brillo del cobre y mezclado con los componentes. Las cajas están medidas a mano para enseñar el formato de salida.

Qué herramienta usas

C1  C5  R6  C4  PULSE
T1  R3  MCP6004
IC2  R4  R11  R10  R5  R9
J1  VCC  EN  VOUT  GND
R1  R2  R7  R8
Place finger  SENSOR
Easy Pulse
www.Embedded-Lab.com

Sale una tira de texto sin posiciones: ves "R1 R2 R7 R8", pero no sabes qué resistencia es cada una ni dónde está en la placa.

La pregunta útil es qué necesita tu programa, más que qué herramienta lee mejor. Para contar si la serigrafía está impresa basta la primera; para comprobar que cada referencia está junto a su componente hacen falta coordenadas; para rellenar un parte de recepción con el modelo y el fabricante, el VLM devuelve directamente los campos que necesitas.

Superresolución: ampliar una imagen

Ampliar una imagen generando el detalle que falta, con mejor resultado que la interpolación bicúbica.

El modelo del cuaderno: Swin2SR (2022).

  • Basado en Swin Transformers V2, lo que le permite procesar imágenes de manera eficiente y global.
  • La familia tiene versiones para ampliar y otras para quitar los artefactos de la compresión JPEG; el cuaderno usa la de ampliar ×2.
  • Lo que aporta: recupera y sintetiza texturas finas (como pelo, tela o detalles faciales) que los métodos clásicos dejarían borrosas o artificiales.
Una rana arborícola ampliada con interpolación bicúbica: ruido de color y textura empastada.
La misma rana reconstruida con Swin2SR: bordes limpios y textura de piel recuperada.
Mira el recuadro rojo: la textura fina de la derecha la sintetiza el modelo.

Ojo: el modelo "imagina" detalles a partir de los patrones que vio al entrenar; no reconstruye información que nunca existió.

Usos y límites

Dónde se usa.

Restauración de archivos

  • Digitalización de fotos antiguas o documentos históricos dañados.
  • Mejora de contenido multimedia antiguo (remasterización).

Medicina e imagen satelital

  • Mejorar la legibilidad de escáneres médicos.
  • Zoom en imágenes aéreas o satelitales.

E-commerce y marketing

  • Mejorar fotos de productos de baja calidad enviadas por usuarios o proveedores.
  • Lograr una apariencia profesional en la web para el catálogo de productos.

Riesgo: el modelo puede inventar una mancha que no existe. En diagnóstico, siempre con revisión humana.

El detalle que añade el modelo

Lo que aparece al ampliar puede venir del modelo, no del sensor.

Una superresolución muestra una mancha nueva en una imagen médica. ¿Qué concluyes?

Quitar el fondo

Lo difícil son los bordes: pelo, pelaje y cristal.

El problema: bordes difusos

Segmentar objetos sólidos es fácil. Pero elementos como el pelo, el pelaje o el vidrio transparente son extremadamente difíciles de separar debido a sus bordes difusos y semitransparentes.

La solución: RMBG-1.4 (BRIA AI)

Segmenta el objeto principal y devuelve una máscara con valores graduales en los bordes, que se usa como canal alfa en lugar de una máscara binaria, así que el recorte encaja en cualquier fondo sin efecto "pegatina". Su licencia no permite uso comercial sin acuerdo con BRIA.

Recorte con canal alfa que conserva el detalle del pelo frente a una máscara binaria.

Correspondencias entre imágenes (matching)

Métodos para encontrar el mismo punto en dos imágenes.

¿Qué es? Encontrar puntos idénticos en dos fotos de la misma escena tomadas desde ángulos diferentes, a pesar de cambios en la perspectiva o la iluminación. Es la base de la reconstrucción 3D, la realidad aumentada y la localización de robots.

La nueva era: deep learning

Detector (SuperPoint, DISK)

Una red que localiza los puntos más distintivos de la imagen (esquinas, texturas) y describe cada uno con un vector. Aguanta mejor que SIFT los cambios fuertes de luz y de punto de vista.

Matcher (LightGlue)

Un Transformer que compara los puntos de las dos imágenes, decide cuáles se corresponden y descarta los que no tienen pareja. Los errores geométricos que se le escapan se filtran después comprobando la geometría (RANSAC).

Correspondencias entre dos fotografías de la misma escena tomadas desde ángulos distintos.

Dónde se nota: con cambios de luz (de día a noche), grandes variaciones de perspectiva y oclusiones, justo donde los métodos clásicos fallan más.

¿Cuánto ha girado la foto?

Gira y mueve la segunda foto. Las líneas unen los puntos que el matching empareja, y con esas parejas se calcula el giro.

Parejas encontradas10

Giro calculado20,0°

Para qué sirve el matching

Tres usos habituales.

Fotogrametría (SfM)

Al identificar y conectar puntos coincidentes en múltiples fotos de una escena, se puede reconstruir la geometría 3D del objeto y la posición de la cámara en cada toma.

SLAM (robótica)

Un robot utiliza el matching de características para comprender su posición dentro de un entorno y construir un mapa del mismo, incluso mientras se mueve y explora.

Panoramas (stitching)

Permite fusionar sin problemas varias imágenes superpuestas en una única foto de gran formato o una vista de 360 grados, eliminando duplicados y alineando las perspectivas.

Profundidad desde una sola foto

Qué está cerca y qué está lejos, con una cámara normal.

Depth Anything V2/V3

Un modelo fundacional con encoder DINOv2. La V2 se entrenó con 595.000 imágenes sintéticas etiquetadas y 62 millones de imágenes reales con pseudoetiquetas.

Capacidad

Genera un mapa de profundidad (heatmap) donde el color indica la distancia relativa, revelando la estructura 3D subyacente.

Robustez

Aguanta interiores, exteriores y escenas con mucho detalle. Cristales y espejos, que hacían fallar a la V1, los maneja mucho mejor gracias a los datos sintéticos; aun así, compruébalo con tus imágenes.

Un camión circulando por una carretera recta, con un coche al fondo y un poste a la izquierda.
La misma carretera como mapa de profundidad: el camión aparece muy claro por cercano y el cielo oscuro por lejano.
Una sola cámara y una sola imagen: el modelo deduce qué está cerca y qué está lejos.

Recortar una foto por distancia

El mapa de profundidad de la pantalla anterior, usado como filtro: todo lo que queda más lejos que el corte se aclara. No hacen falta clases ni etiquetas: basta un umbral sobre la cercanía.

La carretera con el camión: lo que queda más lejos que el corte aparece aclarado y lo cercano conserva su color.

Imagen que se conserva42 %

Queda la trasera del camión, y la pantalla que muestra otra carretera sigue entera: el modelo le da la distancia del camión aunque enseñe una carretera lejana.

Mapa precalculado, el de la pantalla anterior; el corte se aplica en tu navegador. La escala es relativa: 100 no equivale a ninguna distancia en metros.

Aplicaciones de la profundidad

¿Para qué sirve un mapa de profundidad?

Efecto retrato (bokeh)

Desenfocar el fondo sintéticamente, creando imágenes con una profundidad de campo profesional y destacando el sujeto principal.

Robótica y navegación

Permitir que robots y vehículos autónomos detecten obstáculos y comprendan su entorno 3D, utilizando solo una cámara de bajo coste.

Generación de nubes de puntos

Convertir una foto plana en una estructura 3D navegable (malla o nube de puntos) al combinar la imagen RGB con su mapa de profundidad.

Recorte por distancia

Un umbral sobre el mapa elimina lo que queda más lejos (o más cerca) de lo que interesa, sin clases ni etiquetas.

Profundidad relativa vs. métrica. Estos modelos suelen estimar profundidad relativa (mapas de calor). Para obtener metros reales se necesita calibración de cámara o un modelo de profundidad métrica; Depth Anything V2 tiene variantes métricas para interior y exterior.

Profundidad relativa o en metros

Un mapa normalizado ordena distancias, pero no las mide.

Necesitas saber si un obstáculo está a 1,5 metros. ¿Te basta un mapa de profundidad relativa?

Casos por sector

Los mismos modelos, combinados de otra manera, resuelven problemas muy distintos. Lo que cambia de un sector a otro es qué hay que vigilar.

Vigilancia y seguridad

Detectar y seguir personas y vehículos, contar los que entran en una zona, avisar de una caída con la pose. RF-DETR con un seguidor (tema 1) y ViTPose o RF-DETR Keypoint (este tema).

Ojo: el Reglamento europeo de IA prohíbe desde febrero de 2025, salvo excepciones tasadas, la identificación biométrica remota en tiempo real en espacios públicos con fines policiales y el reconocimiento de emociones en el trabajo.

Industria

Defectos sin ejemplos de defecto, conteo de piezas, lectura de lotes y etiquetas, medidas con máscaras. DINOv3 con banco de normalidad (tema 4), SAM (tema 5) y OCR (este tema).

Ojo: luz y encuadre estables, y un umbral fijado con piezas buenas.

Robótica

Saber qué está cerca con una sola cámara, recortar el objeto que hay que coger, encontrar objetos nuevos por su nombre. Depth Anything (este tema), SAM 2 (tema 5) y Grounding DINO (tema 3).

Ojo: esta profundidad es relativa; para coger un objeto hacen falta metros.

Automoción

Vehículos, peatones y señales, la calzada separada del resto, distancias y matrículas. Detectores en tiempo real (tema 1), segmentación (tema 5), profundidad y OCR (este tema).

Ojo: tiempo real en el hardware del coche, y noche, lluvia y contraluz en los datos de validación.

Antes de usar cualquiera de estas seis

Seis comprobaciones comunes a tareas muy distintas.

  1. Sabes qué es medida y qué es generaciónPose y profundidad estiman; superresolución sintetiza. No se usan igual como evidencia.
  2. La licencia permite tu usoVarias de estas familias tienen restricciones comerciales. Compruébalo por modelo.
  3. La escala está resueltaSi necesitas metros, un mapa relativo no sirve: hace falta calibración o un modelo métrico.
  4. Probado con tus imágenesResolución, encuadre y calidad reales, no las fotos de la demo.
  5. Sin diagnóstico automáticoEn medicina o seguridad, revisión humana sobre la imagen original.
  6. Coste por imagen calculadoSi vas a procesar miles, mide tiempo y memoria antes de comprometerte.

Cuaderno 6: otras tareas

Seis tareas, cada una por separado. Si no da tiempo a todas, el resto queda para casa.

  1. Pose y medir un ángulo
  2. OCR
  3. Superresolución
  4. Quitar el fondo
  5. Profundidad con una sola foto
  6. Emparejar puntos entre dos fotos
Abrir en Colab