SNCT – Corpo Homem Corpo Planta

postado em: Blog | 0

Durante a Semana Nacional de Ciência e Tecnologia realizada pela UFRJ com o tema: Corpo em Foco: A ciência e a ressignificação do ser, de 22 de outubro a 25 de outubro no pátio do prédio da Reitoria, o laboratório NANO em parceria com o Instituto de Bioquímica médica sob a coordenação da professora Adriana Hemerly, apresenta a instalação: Corpo Homem Corpo Planta, que visa promover a reflexão sobre as relações entre o homem, a natureza e tecnologia sob pontos de vista poéticos e éticos.

Nessa instalação, como mostram as fotos, temos um circuito para medir a condutividade nas folhas de plantas (batizado de plantrônic), assim como a temperatura, umidade e luz ambiente. Esse circuito é ligado a um microcontrolador do tipo Arduino. A partir do estado fisiológico da planta variações de condutividade ocorrem. Essas variações são amplificadas, analisadas pelo o Arduino e enviadas ao Processing, transformando esses dados em visualização,  através da programação desenvolvida pela Bárbara Castro com uso de Processing e Kinect.

Ao entrarmos em contato com a planta de alguma forma o Kinect capta nossos movimentos, que, através de todo o processo explicado acima, é transformado em visualização,  proporcionando uma experiência interativa e única aos visitantes.

teste de head tracking 01

postado em: Blog, Processos | 2

Detecção de faces utilizando a biblioteca FaceTracker no openFrameworks e a openCV no Processing.

O objetivo é mudar a perspectiva de um cenário virtual de acordo com a posição do rosto do interator, a fim de criar uma situação 3D mais imersiva e responsiva sem utilização de óculos especiais.

Para um primeiro teste o resultado foi bom. Acho que o FaceTracker não será usado pela funcionalidade – mas as linhas de contorno no rosto são interessantes…


Referências

Em 2007 um vídeo com um experimento de head tracking utilizando controle do Wii, de Johnny Chung Lee, ficou bem conhecido. A sensação de paralax e profundidade é incrível, mesmo para quem está assistindo pelo vídeo (pois ele adapta o sistema a uma câmera e simula nossa visão). Mas este sistema não funciona apenas com um controle de Wii. É preciso que o interator utilize 2 leds infravermelho para que o controle capte os sinais.

Alguns experimentos deste tipo já foram feitos com Kinect. A vantagem é não precisar que o interator utilize acessórios extras, como nos experimentos de Chung Lee.

No vídeo abaixo o head tracking foi feito apenas com uma PSEye.


Insights

Um desafio para esta primeira fase da pesquisa é conseguir o mesmo resultado utilizando apenas uma webcam simples. O segredo provavelmente está nos cálculos espaciais: posição da câmera em relação a tela, tamanho da tela, abertura da lente da câmera, detecção facial e seu posicionamento em relação a tela. Para a detecção da face ser mais precisa é essencial que a câmera tenha foco automático.


Fontes

O código fonte do teste no Processing pode ser acessado aqui:

Abaixo uma série de links úteis para a pesquisa:

 

Testes de interação

postado em: Arquivo, Blog, Videos | 4

No sábado, dia 25 de fevereiro, nos reunimos para testar as novas interações do Hiperorganismo que vai ser exposto no evento VIVO ARTE.MOV entre 29 de fevereiro e 2 de março de 2012. A meta era aplicar três interações: o movimento do pescoço do robô deveria seguir o interator, de acordo com o reconhecimento de rosto; a visualização da aproximação do interator que deveria ser projetada na barriga do robô e a sonoridade do robô também de acordo com a aproximação do interator.

O Robô possui duas entradas de dados, uma referente ao sensor de aproximação, que fornece os dados para a visualização e sonorização do robô. A outra referente que são as imagens capturadas na câmera – o olho do robô – que permite o reconhecimento de faces no OpenCV. Usamos dois computadores para realizar tudo. O principal que recebe e envia os dados para o Arduino, e processa a imagem para o reconhecimento de faces, este só envia os dados de aproximação via OSC para o o segundo computador que gera a visualização e que também está conectado ao projetor interno do robô.

Ao longo do dia cada um foi ajustando a sua parte. A visualização desenvolvida no Processing por Barbara Castro, por exemplo, teve de aumentar o tamanho das partículas e selecionar apenas a cor verde, pois dava mais contraste em um ambiente que não está completamente escuro, como deve ser o da exposição. Testamos uma variação linear e uma radial de disposição das partículas, a primeira faria uma faixa de luz em volta da lanterna japonesa, a segunda (selecionada) forma um círculo. O recuo das partículas parecia muito acelerado, porém quando testamos com o som desenvolvido no Pure Data pela mexicana Leslie Garcia que combinou, mesmo assim ainda faltam pequenos ajustes.