Estimación de pose en tiempo real de objetos rígidos planares a partir de secuencias de video monoculares

Abstract

La estimación de pose 3D consiste en calcular, en relación con un marco de referencia dado, la posición y orientación de un objeto tridimensional a partir de su proyección en una imagen bidimensional. En los últimos años, las redes neuronales convolucionales (CNNs) han logrado resultados impresionantes al abordar algunos de los problemas tradicionales de la visión por computadora, incluyendo la estimación de pose 3D. En general, las CNNs empleadas para este propósito contienen capas convolucionales y densamente conectadas con un gran número de neuronas y parámetros entrenables, es decir, son arquitecturas pesadas. Estos modelos son difíciles de entrenar, consumen mucha memoria y, a medida que aumenta el número de parámetros entrenables, tienden a sufrir de sobreajuste. En este trabajo de tesis se propone una CNN ligera, denominada Red de Poses con Agrupación Piramidal de Espacios (PNSPP), capaz de estimar la pose de un modelo planar. Las latencias típicas de PNSPP completamente entrenada permiten realizar predicciones de pose, fotograma a fotograma, en secuencias de video monoculares. Además, también se presenta un método heurístico para calcular el factor de escala que aparece en las funciones de pérdida que desacoplan la posición y la orientación. Este factor depende del conjunto de datos de entrenamiento y permite balancear las contribuciones al error total. A diferencia de otros enfoques que realizan búsquedas en grid o aleatorias que pueden ser costosas, el método presentado utiliza reglas heurísticas simples para ajustar este factor a medida que progresa el entrenamiento de la red neuronal. Los resultados muestran que, en comparación con una CNN pesada de propósito similar, PNSPP se desempeñó mejor en todos los experimentos propuestos.