teste de head tracking 01

postado em: Blog, Processos | 2

Detecção de faces utilizando a biblioteca FaceTracker no openFrameworks e a openCV no Processing.

O objetivo é mudar a perspectiva de um cenário virtual de acordo com a posição do rosto do interator, a fim de criar uma situação 3D mais imersiva e responsiva sem utilização de óculos especiais.

Para um primeiro teste o resultado foi bom. Acho que o FaceTracker não será usado pela funcionalidade – mas as linhas de contorno no rosto são interessantes…


Referências

Em 2007 um vídeo com um experimento de head tracking utilizando controle do Wii, de Johnny Chung Lee, ficou bem conhecido. A sensação de paralax e profundidade é incrível, mesmo para quem está assistindo pelo vídeo (pois ele adapta o sistema a uma câmera e simula nossa visão). Mas este sistema não funciona apenas com um controle de Wii. É preciso que o interator utilize 2 leds infravermelho para que o controle capte os sinais.

Alguns experimentos deste tipo já foram feitos com Kinect. A vantagem é não precisar que o interator utilize acessórios extras, como nos experimentos de Chung Lee.

No vídeo abaixo o head tracking foi feito apenas com uma PSEye.


Insights

Um desafio para esta primeira fase da pesquisa é conseguir o mesmo resultado utilizando apenas uma webcam simples. O segredo provavelmente está nos cálculos espaciais: posição da câmera em relação a tela, tamanho da tela, abertura da lente da câmera, detecção facial e seu posicionamento em relação a tela. Para a detecção da face ser mais precisa é essencial que a câmera tenha foco automático.


Fontes

O código fonte do teste no Processing pode ser acessado aqui:

Abaixo uma série de links úteis para a pesquisa: