Paso 5: Combinar mano de seguimiento con red neuronal basado en reconocimiento de la mano
Este es el último paso.
Para reconocer la postura de la mano, el sistema debe detectar la posición de mi mano.
Por lo tanto, implementó sistema de seguimiento de mano que puede hacer lo siguiente:
- Quitar imagen de fondo
- Detectar la posición 3D de la mano mediante movimiento seguimiento biblioteca, NITE (esta biblioteca no puede detectar una pose de la mano)
- Extracto de cada región de color mediante procesamiento de imágenes
- Uso de sensor Xtion PRO LIVE (ver imagen)
Combinando el sistema de seguimiento con la red neuronal afinada completa,
Manipit, un sistema de seguimiento del movimiento de la mano ahora se ha completado.
¿Cómo funciona? Ver el video.
Las manos de la CG en la pantalla se sincronizan con mi manos reales!
Aunque estoy agarrando, Manipit puede reconocer mi pose de la mano.
Creo que este punto es la gran diferencia de los productos existentes y la investigación.
