Mapeamento interativo de projecções: 5 projectos para descobrir
Introdução - arte interactiva e mapeamento de projeção de experiências imersivas
A arte interactiva é uma forma de arte dinâmica que reage ao seu ambiente. O trabalho produzido cria assim uma ligação entre o ambiente, como o ser humano ou a natureza, e os outros elementos que o compõem. Estes elementos podem ser um palco, um cenário, uma escultura, uma luz, um sistema informático... Nas instalações interactivas, os participantes interagem através de sensores para produzir um resultado único gerado ao vivo.
Exemplo: Daniel Rozin - Mechanical Mirrors
O mapeamento de projeção, graças aos projectores de vídeo, permite adornar um espaço com luz. É, portanto, interessante para transcrições visuais de eventos que ocorrem no ambiente. Estes eventos podem ser, por exemplo, o movimento de uma pessoa, a ação de um botão ou um som tocado por um instrumento. Neste artigo, apresentamos uma seleção de projectos de projeção cartográfica interactiva para demonstrar as possibilidades oferecidas para criar experiências imersivas.
O que é o mapeamento por projeção?
O mapeamento por projeção, também conhecido como mapeamento de vídeo ou realidade aumentada espacial, é uma tecnologia de ponta que transforma superfícies normais em ecrãs dinâmicos, projectando conteúdo digital nas mesmas. Esta técnica inovadora ganhou uma popularidade significativa em vários domínios, incluindo marketing, entretenimento e educação, devido à sua capacidade de criar experiências imersivas e envolventes. Ao utilizar projectores de vídeo, a projeção mapeada pode transmitir mensagens de marca, criar cenários únicos, decorar paredes e tectos e evocar emoções fortes. A versatilidade desta tecnologia permite aos utilizadores transformar qualquer superfície numa tela para contar histórias visuais deslumbrantes, tornando-a uma ferramenta favorita tanto para artistas como para profissionais de marketing.
História e desenvolvimento do mapeamento por projeção
O conceito de projeção mapeada tem uma história fascinante que remonta a 1969, quando a Disney introduziu esta tecnologia pela primeira vez na Disneylândia. A primeira utilização do mapeamento de projeção foi no passeio Haunted Mansion, onde os rostos eram projectados em cabeças de manequins para criar um efeito assustador e realista. Desde esses primeiros dias, a tecnologia evoluiu drasticamente, oferecendo imagens espectaculares que ultrapassam em muito os seus humildes primórdios. Atualmente, a projeção mapeada contemporânea é uma ferramenta popular para criar experiências imersivas, com aplicações que se expandiram para várias indústrias, incluindo publicidade, educação e entretenimento. Os avanços na tecnologia de projeção mapeada tornaram possível a produção de ecrãs altamente detalhados e interactivos, cativando o público e transformando espaços comuns em ambientes extraordinários.
Dois projectos de projeção cartográfica interactiva de Jesse James Allen
Jesse James Allen começou a sua carreira como engenheiro de som na indústria do entretenimento no início dos anos 90, no dealbar da era digital. Gradualmente, tornou-se designer de media para parques temáticos e aprendeu a dominar muitas ferramentas, todas elas consideradas peças essenciais de um puzzle para proporcionar experiências emocionais através da narração de histórias. Participou na conceção de 53 jogos de vídeo e esta atividade moldou verdadeiramente a sua carreira como criativo. A influência dos jogos de vídeo pode ser sentida em alguns dos seus projectos de projeção mapeada, em que por vezes utiliza controladores de jogos de vídeo para controlar a projeção.
Jesse vê um enorme potencial para o HeavyM em experiências interactivas e exposições para contar histórias mais convincentes e sensacionais. De facto, ele trabalha com pintores e ilustradores, uma vez que trazer o mundo físico tátil para a equação torna o efeito ainda mais vívido, mais orgânico. Segundo Jesse, "a mistura de arte tradicional e digital cria um tipo especial de magia. Há cerca de um ano que ando a fazer investigação e desenvolvimento com o HeavyM e sinto que estou apenas a arranhar a superfície, a tocar em todo um universo de possibilidades."
A sua colaboração com Charlie Jicha resultou numa pintura feita com tinta condutora. Esta tinta está ligada a uma placa tátil, que converte a informação em MIDI para o HeavyM. Uma vez que o sequenciador do HeavyM é controlável por MIDI, Jesse ligou partes da pintura a sequências específicas. Para animar eficazmente os objectos no mapeamento de projeção, é essencial criar máscaras que correspondam às formas das superfícies a animar.
Com base nesta experiência, Jesse James Allen concebeu e construiu o Seraph Angel, uma escultura de 8 pés que foi apresentada no Immerse em 2017, um enorme festival de artes organizado em Orlando pelo Creative City Project.
The Seraph combina mapeamento de projeção, captura de movimento e design de som para uma experiência interactiva imersiva. Este é o maior projeto de Jesse até à data com HeavyM, oferecendo a todos os espectadores a oportunidade de interagir com a instalação através dos seus corpos e vozes. Jesse aproveitou todo o poder do HeavyM Live neste projeto.
A maioria dos elementos visuais projectados são shaders, controláveis pelo visitante através do reconhecimento de movimentos via Leap motion e da interação tátil com a tinta condutora. Por último, o módulo de análise de som do HeavyM foi utilizado para reagir ao som da voz do visitante através de um microfone.
Mapeamento interativo de projecções com seguimento de movimentos
A Digital Essence produz instalações interactivas para comunicação empresarial desde 2014. A empresa baseia-se na colaboração entre cenógrafos, designers de computação gráfica e engenheiros para conceber e implementar sistemas interactivos utilizando a projeção de vídeo. Para o Hacking de l'Hôtel de Ville de Paris 2020, um evento dedicado à inovação digital, a Digital Essence concebeu e produziu uma instalação interactiva de projeção mapeada.
O principal objetivo é destacar um local único, propondo ao mesmo tempo uma animação digital que valoriza o evento. Assim, graças à projeção mapeada, os degraus da escadaria principal reagem à passagem do público, desencadeando animações vídeo. A instalação proporciona aos visitantes uma experiência imersiva e impactante que eles irão recordar. Foram utilizados vários projectores para obter projecções de alta qualidade que enriquecem a participação dos espectadores.
O Digital Essence utilizou uma câmara estereoscópica ZED acoplada a o software de rastreio Augmenta para detetar a presença e a posição das pessoas nas escadas. A combinação de bordos foi utilizada para melhorar a qualidade da imagem e a uniformidade das superfícies projectadas.
Estes dados são enviados para um shader que é visualizado e deformado com o HeavyM de modo a ligar/desligar as escadas quando a pessoa passa. Por fim, um vídeo de "chuva de purpurinas" é reproduzido assim que alguém está presente no campo de deteção.
Mais informações sobre este projeto: ligação para o artigo do blogue.
Personalizar ecrãs interactivos com mapeamento de projeção
Outro projeto Digital Essence: uma caixa imersiva que oferece uma experiência personalizada com base em escolhas feitas num tablet. Após uma série de perguntas, o visitante é imerso numa caixa com uma projeção à sua volta. A experiência pode ser personalizada de acordo com a escolha de cores, música e destinos. As animações e a música variam consoante as respostas dadas, para garantir uma experiência impactante. Além disso, podem ser integrados jogos interactivos como o Rugby Virtual e o Futebol Virtual para aumentar o envolvimento através da interação em tempo real com o conteúdo projetado.
No que respeita à parte técnica, a instalação utiliza 2 kits Olga, 3 projectores Full HD de alcance ultra-curto, um computador e um tablet. Antes de entrar no stand, os visitantes preenchem um formulário numa página Web apresentada no tablet. As respostas são depois introduzidas numa base de dados e processadas por um programa que corre no computador que transmite o espetáculo. Por fim, este programa controla os vídeos exibidos pelo HeavyM graças a mensagens OSC. A tecnologia permite igualmente transformar as paredes em ecrãs interactivos, criando experiências imersivas em superfícies personalizáveis através de vários métodos de projeção e jogos interactivos.
Mapeamento interativo de projeção no palco
Para terminar esta seleção de projectos de projeção cartográfica interactiva, optámos por mostrar a sua aplicação num contexto cénico. Para este espetáculo que associa dança e projeção de vídeo, Diomedi Mattia implementou um sistema de geração de imagens em tempo real, baseado nos movimentos dos bailarinos. A superfície de projeção desempenha um papel crucial na obtenção de imagens dinâmicas, transformando o palco numa experiência imersiva.
Este ballet interativo foi produzido pela Laserentertainment utilizando a tecnologia Blacktrax e o TouchDesigner. A Blacktrax é uma tecnologia de seguimento de movimentos que se baseia em LEDs infravermelhos. Os bailarinos estão equipados com um pequeno circuito eletrónico composto por uma bateria e LEDs cuja luz é invisível ao olho humano, mas não a câmaras específicas. As posições dos bailarinos podem então ser conhecidas graças a um software de tratamento de imagem e são enviadas para o software TouchDesigner. As caraterísticas únicas desta tecnologia melhoram a qualidade e a eficácia global do espetáculo.
O TouchDesigner permite-lhe programar geradores de imagens através de um sistema de nós a ligar entre si.
O futuro dos projectos de projeção cartográfica
O futuro dos projectos de projeção cartográfica é incrivelmente promissor, com a interatividade a ser o próximo grande desenvolvimento. Num futuro próximo, poderemos assistir a experiências semelhantes à realidade virtual (RV) utilizando óculos especiais, permitindo que os utilizadores mergulhem ainda mais nas imagens projectadas. As tecnologias que permitem aos espectadores influenciar o mapeamento em tempo real através do som, do toque e da visão já estão a fazer ondas, melhorando a experiência interactiva. A tecnologia vestível também está a ser integrada para proporcionar interações ainda mais personalizadas e envolventes. No entanto, há desafios que precisam de ser resolvidos, como o custo e o tempo de produção envolvidos na criação destes ecrãs sofisticados. O processo de produção exige frequentemente a colaboração de vários departamentos e um investimento significativo. Ultrapassar estes obstáculos exigirá inovação e investimento contínuos, mas as potenciais recompensas em termos de criação de experiências verdadeiramente imersivas são imensas.
Conclusão
Esta seleção de projectos de projeção cartográfica interactiva dá uma ideia das aplicações e possibilidades, mostrando o potencial de criação de uma experiência imersiva. Estas são, de facto, muito vastas e desenvolver-se-ão cada vez mais nos próximos anos. A tecnologia desempenha um papel essencial na arte interactiva porque é parte integrante dos sistemas de sensores que permitem a interação. A acessibilidade das ferramentas informáticas é, por conseguinte, essencial para o crescimento e a multiplicação das obras desta disciplina. O HeavyM, com a sua facilidade de utilização e versatilidade, permite a realização de projecções cartográficas interactivas em poucos cliques.
PT 
EN 
FR 
ES 
DE 
IT 
CN 
KR 
JA 
RU