teste de head tracking 01

postado em: Blog, Processos | 2

Detecção de faces utilizando a biblioteca FaceTracker no openFrameworks e a openCV no Processing.

O objetivo é mudar a perspectiva de um cenário virtual de acordo com a posição do rosto do interator, a fim de criar uma situação 3D mais imersiva e responsiva sem utilização de óculos especiais.

Para um primeiro teste o resultado foi bom. Acho que o FaceTracker não será usado pela funcionalidade – mas as linhas de contorno no rosto são interessantes…


Referências

Em 2007 um vídeo com um experimento de head tracking utilizando controle do Wii, de Johnny Chung Lee, ficou bem conhecido. A sensação de paralax e profundidade é incrível, mesmo para quem está assistindo pelo vídeo (pois ele adapta o sistema a uma câmera e simula nossa visão). Mas este sistema não funciona apenas com um controle de Wii. É preciso que o interator utilize 2 leds infravermelho para que o controle capte os sinais.

Alguns experimentos deste tipo já foram feitos com Kinect. A vantagem é não precisar que o interator utilize acessórios extras, como nos experimentos de Chung Lee.

http://www.youtube.com/watch?v=1dnMsmajogA

No vídeo abaixo o head tracking foi feito apenas com uma PSEye.


Insights

Um desafio para esta primeira fase da pesquisa é conseguir o mesmo resultado utilizando apenas uma webcam simples. O segredo provavelmente está nos cálculos espaciais: posição da câmera em relação a tela, tamanho da tela, abertura da lente da câmera, detecção facial e seu posicionamento em relação a tela. Para a detecção da face ser mais precisa é essencial que a câmera tenha foco automático.


Fontes

O código fonte do teste no Processing pode ser acessado aqui:
https://gist.github.com/3484866

Abaixo uma série de links úteis para a pesquisa:

 

2 Responses

  1. Guto Nobrega

    Tem um pessoal da Coppe pesquisando exatamente isso. Vi no seminário que participei no Impa. ELe s pesquisam com modelos básicos em 3D, tipo estruturas cúbicas.

    • marlus

      legal guto! podemos conversar com eles, gostaria de ver o que estão fazendo.
      o que estou pensando é usar o headtracking neste início, depois evoluimos pras nossas ideias de estereoscopia com óculos ou outro dispositivo. uma coisa não exclui a outra, o headtracking vai ser usado nesses dois momentos

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *