Projetos de pesquisas

Veja também: projetos de estudantes e projetos anteriores

 Treinamento Odontológico Imersivo por meio de Realidade Virtual

O treinamento de procedimentos médicos invasivos na etapa pré-clínica é um grande desafio educacional. A abordagem tradicional, com animais e cadáveres, apresenta problemas éticos e práticos. Uma solução promissora é a utilização de realidade virtual (RV), que permite simulações realistas de baixo custo, receptibilidade e feedback em tempo real. Tal constatação motivou o desenvolvimento do ambiente VIDA Odonto, o qual utiliza tecnologias avançadas de RV, modelagem realista do paciente e interação imersiva tridimensional. O protótipo desenvolvido, do módulo do ambiente virtual desse sistema, foi testado e avaliado por profissionais com experiência na prática clínica e principiantes, demonstrando a viabilidade de se tornar um recurso educacional relevante em cursos de odontologia. O Projeto VIDA Odonto atualmente é desenvolvido no Interlab/USP e conta com financiamento da FAPESP e colaboração do LApIS (EACH/USP) e do LaSIT(FOB/USP).

Palavras-chaves: Interação 3D, Realidade Virtual, Treinamento odontológico.

Romero Tori, Gustavo Ziyu Wang, Lucas Henna Sallaberry, Allan Amaral Tori, Elen Collaço de Oliveira e Maria Ap. de A. M. Machado.

Poster do projeto: Vida Odonto.

Interação Háptica Realista em Sistema de Treinamento Virtual para Aplicação de Anestesia Odontológica

A Realidade Virtual tem apresentado importantes contribuições para a área de saúde, principalmente no domínio de treinamento, atuando na aquisição de conhecimento e habilidades na realização de determinados procedimentos e minimizando ou eliminando riscos aos pacientes. Entretanto, o desenvolvimento de um sistema computacional baseado em Realidade Virtual é uma tarefa complexa, principalmente no que se refere ao realismo proporcionado por uma sessão de treinamento virtual e os dispositivos adotados para simulação tátil. Um procedimento que ainda não é simulado consiste na aplicação de anestesia local para tratamento odontológico. O treinamento para a execução de tal procedimento apresenta uma alta taxa de insucesso, elevando os riscos aos pacientes e a insegurança dos aprendizes. Na literatura, há uma série de simuladores de Realidade Virtual, especificamente para aplicação de anestesia em outras áreas do corpo humano e operações, como biópsia e endoscopia, por exemplo, que envolvem a manipulação de instrumentos médicos (agulha, endoscópio, cateter e seringa). Nesse contexto, o presente trabalho objetiva o desenvolvimento de um sistema computacional baseado em Realidade Virtual para simulação de anestesia, inicialmente para o bloqueio do nervo alveolar inferior, enfatizando a etapa do procedimento de aplicação da anestesia que engloba a correta manipulação e inserção da agulha, ou em termos de Realidade Virtual, a parte da simulação que consiste na interação háptica (interação tátil). Um aspecto importante na interação háptica é o modelo de força para o feedback háptico, que envolve equações, propriedades e comportamento de tecidos e instrumentos odontológicos. No caso dos tecidos humanos, espessura de cada camada, elasticidade e resistência são propriedades a serem consideradas, e no caso do comportamento de instrumentos, como a agulha, movimentos, velocidade, posição e ângulo de movimentação da agulha são importantes para uma reprodução realista do treinamento de bloqueio do nervo alveolar inferior. Uma etapa de levantamento de requisitos foi realizada em uma faculdade de odontologia para o desenvolvimento adequado do sistema de treinamento. Espera-se obter uma interface háptica de sistema computacional de treinamento para aplicação de anestesia odontológica, validada por especialistas da área de odontologia.

Palavras-chave: Interação háptica, Realidade Virtual, treinamento odontológico.

Cléber Gimenez Corrêa e Romero Tori.

Poster do projeto: PDF

Reconstrução Tridimensional em Tempo Real de humanos com Base em Registro e Acumulação de Mapas de Profundidades

A inserção de uma representação gráfica, realista e em tempo real, do usuário em um ambiente virtual tridimensional é um dos problemas largamente explorados em pesquisa de realidade aumentada. Uma forma de se obter essa inserção é por meio de métodos de reconstrução. Porém, muitos métodos são dependentes do modelo de captura de informação, que podem depender de configurações de equipamentos complexos, não permitindo a reconstrução tridimensional ou a reconstrução em tempo real. Este projeto visa a criação de um método de reconstrução tridimensional completa em tempo real de humanos, para sistemas de telecomunicação imersiva, com base no registro e acumulação mapas de profundidades capturadas e processadas ao longo do tempo. Para essa tarefa, será utilizado um modelo de reconstrução de corpos articulados com superfície deformável, modelo que permite representar objetos dinâmicos como humanos. Para o registro das malhas e acumulação de novos dados, um modelo baseado em redes bayesianas de primeira ordem será utilizado, visando permitir a reconstrução em tempo real.

Palavras-chave: Video Avatar, Realidade Aumentada, Reconstrução Geométrica de Superfície.

Daniel Makoto Tokunaga e Romero Tori.

Poster do projeto:PDF

Realismo em Objetos Virtuais Deformáveis para Apliçações de Ensino de Medicina

A Realidade Virtual e Aumentada estão sendo cada vez mais utilizadas no desenvolvimento de aplicações computacionais para treinamento médico. Nesse tipo de aplicações são necessários o realismo visual e háptico, a fim de proporcionar ao usuário sensações parecidas com as encontradas no procedimento real. A deformação dos objetos tridimensionais é um dos comportamentos que aumenta o realismo dessas aplicações. Para alcançar o realismo exigido, os métodos baseados na Física são os mais utilizados. No entanto, esses métodos não proveem a interação em tempo real. Sendo assim, o objetivo deste trabalho é apresentar uma proposta de um método para simular a deformação de objetos tridimensionais que representam tecidos moles. Nesse método os objetos tridimensionais serão utilizadas malhas de superfícies para simular o volume. Cada camada representará uma parte do órgão e/ou tecidos, sendo possível atribuir parâmetros físicos e, assim melhorar o realismo do comportamento físico. Como o objeto tridimensional será complexo e com diferentes características físicas, poderão ser utilizados diferentes métodos de deformação. Dessa forma, pretende-se alcançar o realismo visual, o realismo háptico e a interação em tempo real, mas com um custo computacional mínimo. O método foi proposto depois de conduzida uma Revisão Sistemática (RS) para levantar quais métodos e abordagens têm sido utilizadas em aplicações para treinamento médico e qual o nível de realismo visual e háptico alcançados. A partir dos resultados da RS, constatou-se que o método Massa Mola tem sido muito utilizado para simular a deformação em aplicações computacionais para treinamento médico. Existem várias técnicas para resolver o sistema Massa Mola, neste trabalho pretende-se utilizar o método iterativo Gauss-Seidel para resolver o sistema linear e ainda uma abordagem que separa os vértices ativos, passivos e os fixos. Dessa forma, a matriz de Rigidez se torna dispersa e só os vértices atingidos pela força externa aplicada. Pretende-se utilizar essa adaptação do Massa Mola na camada mais externa do modelo tridimensional, no qual o realismo visual é o importante, pois representa a parte que é vista pelo usurário. Já nas camadas mais internas serão utilizados métodos que o cálculo do retorno de força é a maior preocupação. Os testes de desempenho e interação serão realizados a partir de um Framework Orientado a Objetos, o Virtual Medical Training (ViMeT), que foi desenvolvido no Laboratório de Tecnologias Interativas da Escola Politécnica e no Laboratório de Aplicações de Informática em Saúde da Escola de Artes Ciências e Humanidades, ambos da Universidade de São Paulo. Na versão atual do ViMeT é possível carregar um modelo tridimensional que simula um órgão humano e um que simula um instrumento médico, além disso, possui também três funcionalidades, sendo eles: i) um método de deformação baseado no Massa Mola, ii) três métodos de detecção de colisão e iii) um método de visão estereoscópica que utiliza a técnica de anaglifos. O carregamento dos modelos tridimensionais, assim como as funcionalidades com seus respectivos parâmetros são atribuídos por meio de uma ferramenta de instanciação automática denominada ViMeTWizard.

Palavras-chave: Deformação. Ensino. Massa Mola. Medicina. Tecidos moles.

Ana Cláudia M. T. G. de Oliveira e Romero Tori.

Poster do projeto: PDF

Proposta Arquitetural para Aplicações de Realidade Virtual e Aumentada na Nuvem

Realidade virtual e realidade aumentada são usadas na produção de complexos ambientes virtuais, utilizando-se de dispositivos de entrada e de saída não triviais, para fornecer aos usuários, sensação de imersão em mundos sintéticos de tempo real. O desenvolvimento de aplicações que envolvem realidade virtual e realidade aumentada, normalmente é caracterizado como projeto complexo de alto custo, pois envolvem várias áreas de conhecimento. Assim, é de fundamental importância que se pesquise e desenvolva métodos e técnicas que viabilizem o reuso de artefatos de software com o objetivo de redução de custos e prazo de entrega e aumento da qualidade dos softwares produzidos. Nesse cenário o reuso de software não é uma alternativa, e sim, uma necessidade para viabilizar seu desenvolvimento. Em função de tais necessidades, esse trabalho apresenta um estudo das principais abordagens de reuso de software, concentrando-se em duas delas, o desenvolvimento baseado em componentes e o desenvolvimento orientado a serviços. Em linhas gerais, a pesquisa evidenciou o alto percentual de trabalhos que usam a abordagem de desenvolvimento baseado em componentes, para a obtenção de reuso de artefatos de software em aplicações de realidade virtual e aumentada. Foi observado em cerca de 80% dos trabalhos, evidenciando a forte adoção de componentes como forma de distribuição, flexibilidade e reuso de elementos de software. Também mostrou que a abordagem de orientação a serviços, foi identificada em um percentual expressivo, aproximadamente 40%. Contudo, os trabalhos que apresentaram tal abordagem, não são aderentes aos preceitos da computação orientada a serviços. A grande maioria relaciona serviços com funcionalidades que determinados artefatos de software expõem, mas não como paradigma de desenvolvimento orientado a serviços. O objetivo é produzir um modelo arquitetural de uma plataforma de produção e compartilhamento de componentes de software para aplicações que envolvam realidade virtual e aumentada. O modelo arquitetural lógico proposto reúne os paradigmas de desenvolvimento baseado em componentes, computação orientada a serviços e computação em nuvem com o objetivo de produzir uma plataforma de produção e execução de aplicações de realidade virtual e aumentada de forma colaborativa na nuvem. A arquitetura proposta será validada por meio de duas estratégias. A primeira validação será feita por meio de um método formal de validação de arquitetura de software, denominado de Achitecture Tradeoff Analysis Method (ATAM). A segunda, por meio do desenvolvimento de um projeto piloto para estabelecer as provas de conceitos e testes dos componentes chaves da plataforma proposta.

Palavras-chave: Realidade Virtual, Realidade Aumentada, Reuso, Desenvolvimento Baseado em Componente, Computação Orientada a Serviço e Computação em Nuvem.

Evandro César Freiberger e Romero Tori.

Poster do projeto: PDF.

Método de Segmentação de Vídeo em Tempo Real para Aplicações em Teleimersão

 

A segmentação de vídeos com o objetivo de extrair uma pessoa em primeiro plano é uma necessidade comum em muitas aplicações, entre elas, os sistemas de Realidade Aumentada (RA). Quando essa tarefa deve ser realizada em ambientes não controlados, nos quais não se pode contar com homogeneidade de cor de fundo nem de iluminação, métodos de segmentação apropriados para essas condições devem ser utilizados. Duas abordagens principais podem ser identificadas entre os métodos de segmentação utilizados em sistemas de RA ou similares, a baseada na técnica de subtração de fundo e a baseada em arcabouços de minimização de energia. A segunda abordagem tem se mostrado mais robusta, porém, mais custosa computacionalmente. Apesar de sofisticados, tais métodos ainda são mais propensos a erros do que os tradicionais, baseados na subtração de uma cor de fundo homogênea. Para que a utilização desses métodos se torne viável para determinadas aplicações, como a que faz parte do contexto deste trabalho, faz-se importante um estudo desses erros e seus impactos na percepção do usuário, a fim de que se possa concentrar esforços no desenvolvimento de algoritmos de segmentação que reduzam erros de maior impacto, o que pode variar conforme a aplicação. Apesar de haver pesquisas sobre qualidade de segmentação, poucos trabalhos se preocuparam em identificar os artefatos que causam maior incômodo ao usuário. Os métodos subjetivos de avaliação de qualidade de imagem (e vídeos), tradicionalmente utilizados para avaliar imagens de televisão e, mais recentemente, de aplicações multimídia, têm se mostrados eficientes como forma de avaliação de qualidade de segmentação. Os erros de segmentação mais comuns, apresentados por métodos que representam o estado-da-arte, podem ser simulados – utilizando vídeos que exibam imagens no contexto de uma determinada aplicação – e os resultados podem ser avaliados por um procedimento formal subjetivo. Desse modo, pode-se identificar os artefatos (ou uma combinação deles) que causam mais incômodo ao usuário e utilizar esse conhecimento no desenvolvimento de um novo algoritmo. Inserido neste contexto, propõe-se o desenvolvimento de um método de segmentação que considere os resultados de avaliações subjetivas de qualidade de segmentação e evite que os errors mais perceptíveis sejam exibidos ao usuário. O método será aplicado em um sistema de RA utilizado para teleconferência imersiva. Nesse sistema, a captura do vídeo se realiza em ambiente não controlado e a imagem segmentada será utilizada na geração de um avatar do tipo billboard.

Palavras-chave: Segmentação; Avaliação Subjetiva; Realidade Aumentada

Silvio Ricardo Rodrigues Sanches e Romero Tori.

Poster do projeto: PDF

Avaliação Quantitativa da Percepção de Presença em Atividades de Ensino utilizando Rastreamento do Olhar.

Apesar do forte crescimento da Educação a Distância no Brasil (EaD) e no mundo, tanto a EaD como a educação presencial, ainda não possuem uma ferramenta que forneça para o professor, em tempo real, informações sobre a percepção (interpretação significativa) dos alunos a respeito de uma atividade em desenvolvimento. A percepção de presença (PP, abreviação de telepresença), definida como ilusão perceptiva de não mediação, pode ser utilizada como um indicador de atenção e engajamento, visto que elas se relacionam. O método mais utilizado para a avaliação da PP faz uso de questionários aplicados aos sujeitos, após a experiência. Além de não fornecer informações em tempo real este método sofre muita influência de ruídos advindos tanto dos sujeitos submetidos ao experimento como dos avaliadores dos questionários. Os métodos mais efetivos para a avaliação da PP, em tempo real, fazem uso dos sinais fisiológicos como batimento cardíaco, eletrocardiograma, eletroencefalograma, resistividade e humidade da pele, pois estes sinais variam independentemente da vontade dos sujeitos. Os sinais fisiológicos, no entanto, só variam de forma significativa em situações de stress, inviabilizando sua utilização em atividades normais de ensino. Outra forma de avaliar a PP é utilizar sistemas de rastreamento do olhar. Sistemas de rastreamento do olhar são estudados e desenvolvidos desde o século 19. Esses sistemas fornecem um mapeamento do movimento dos olhos e além de indicar para onde os sujeitos estão olhando podem também monitorar a dilatação da pupila e as piscadas. Atualmente os sistemas de rastreamento do olhar são compostos por hardware e software e a principal dificuldade para a ampla utilização desses equipamentos é o alto custo do hardware. Para contornar o alto valor do hardware de rastreamento do olhar está em desenvolvimento, no Interlab, um hardware de baixo custo. Da mesma forma que os sinais fisiológicos o movimento dos olhos acontece independentemente da vontade do sujeito e não ocorre de forma suave e contínua, mas em sacadas e paradas. Sacadas são movimentos rápidos com duração de 20 a 100 ms e fixações são paradas com duração de 100 a 400 ms. Quando se olha para uma cena (um quadro por exemplo), nosso cérebro determina regiões de interesse na cena e utiliza as sacadas para focar o olhar nessas regiões e as fixações para captar as informações, os olhos captam apenas pequenas regiões da cena, ficando a cargo do cérebro a construção e interpretação da cena. Estudos relacionam o movimento dos olhos com o comportamento, a percepção e a cognição. Recentemente foi demonstrado que a entropia condicional do movimento dos olhos tem relação com a PP em um cenário tridimensional estático. Quanto maior for a entropia condicional do movimento, menor será a PP. Tomando como base a relação entre PP e a entropia condicional do movimento dos olhos, será desenvolvido um método que seja capaz de indicar, quantitativamente e em tempo real, um valor para a PP com utilização de rastreamento do olhar em uma atividade de ensino (presencial ou a distância) que tenha estímulos visuais e sonoros.

Palavras chave: percepção de presença, atenção, engajamento, ensino, avaliação quantitativa e rastreamento do olhar.

Fernando Yoiti Obana e Romero Tori.

Poster do projeto: PDF

Ae3D: Interligando Mundos Virtuais a LCM’s

Cilene Ap. Mainente Lora e Romero Tori.

Os mundos virtuais online possuem potencial de uso em ensino. Os usuários, representados no mundo virtual por meio de avatares, podem interagir entre si e com os ambientes e objetos, muitas vezes especialmente desenvolvidos para o ensino. O engajamento dos estudantes com o curso, bem como o senso de pertencer a uma comunidade, podem contribuir para motivar os estudantes, e consequentemente, ampliar a sua experiência de aprendizagem. No entanto, a comprovação da eficácia de tais ambientes na melhoria da aprendizagem, ainda carece de maiores estudos. Uma das principais barreiras para o desenvolvimento de estudos mais aprofundados, é a sobrecarga de tarefas aos educadores no preparo técnico de tais ambientes. Uma solução possível é a utilização de ambientes pré-configurados e elaborados, de forma a facilitar as experimentações dos educadores. A proposta desse trabalho é a construção de camada de interoperabilidade, denominada Ae3D, entre LCMS tradicionais, e um mundo virtual, proporcionando uma interface interativa e atraente para estudantes, cada dia mais habituados aos vídeo-games. Tal camada eliminaria retrabalho dos professores, no preparo e disponibilização de materiais, o que pode, contribuir para a realização de estudos para comprovar ou não os ganhos do uso dos ambientes tridimensionais em educação.

Palavras-chave: Mundos Virtuais, MUVE e Ensino.

Poster do projeto: PDF

 Mundo Virtual 3D em Plataforma Aberta como Interface para Ambientes de Aprendizagem

Fábio Martins do Carmo e Romero Tori.

Este trabalho é um estudo sequencial sobre o desenvolvimento e a viabilidade da aplicação de mundos virtuais tridimensionais como interfaces alternativas de acesso a Sistemas de Gestão de Aprendizagem (Learning Management Systems – LMSs). Tecnologias de Informação e Comunicação (TICs), utilizadas em LMSs, e tecnologias de Realidade Virtual (RV), utilizadas em Mundos Virtuais 3D (MV3D), são discutidas com escopo no desenvolvimento e aplicação dessas em processos de ensino-aprendizagem. O projeto Ae-3D, relacionado a este trabalho, também é discutido, a fim de analisar-se a proposta de um modelo que realiza a integração entre o MV3D Second LifeTM (SL) e o LMS Tidia-Ae. Assim, a pesquisa aqui descrita delineia-se como continuação e aprimoramento do projeto Ae-3D e sugere uma alternativa para a construção de mundos virtuais, que permita o mapeamento das funcionalidades do LMS e possibilite maior controle sobre os componentes do sistema híbrido. Esta alternativa se materializa em uma plataforma de código aberto que possui recursos e características não distantes dos oferecidos pelo SL. Como prova de conceito foi implementado um módulo de software que conecta a plataforma de MV3D OpenSimulator ao LMS Tidia-Ae, possibilitando a interoperabilidade entre os sistemas, independente do servidor onde é executado o LMS. Este módulo permite que as funcionalidades do LMS possam ser modeladas de diferentes maneiras, o que é descrito no mapeamento realizado pelo projeto Open Ae-3D. O ambiente resultante funciona como uma interface 3D de acesso aos recursos e funcionalidades do LMS. Este estudo teve como preceitos que educadores e designers instrucionais não precisem se preocupar em aprender um novo ambiente, podendo continuar a utilizar o LMS convencional, enquanto que os estudantes interessados podem entrar e participar das atividades on-line, usando essa nova interface. Esta integração de tecnologias procura disponibilizar a interatividade propiciada pelos ambientes 3D imersivos e aproveitar o conhecimento, habilidades e experiência adquiridos pelos educadores, durante a implantação e uso dos sistemas de aprendizagem eletrônicos.

Palavras-chave: Ensino por Computador, Realidade Virtual, Educação a Distância, Integração de Tecnologias.

Poster do projeto: PDF

Open Source Hardware Aplicado a Interatividade

Diego Spinola e Romero Tori.

O projeto encontra-se em fase de desenvolvimento, tendo como objetivo o estudo das principais plataformas de desenvolvimento de hardware aberto (Open Source Hardware, OSHW) atualmente disponíveis, visando sua aplicabilidade em projetos envolvendo interatividade. Discute-se como os recentes avanços na área de “personal fabrication” (low cost 3d printing) e prototipagem de baixo custo podem contribuir (efetivamente abaixando a barreira de entrada) para execução de testes, provas de conceito em hardware no ambiente acadêmico. Para isso encontra-se em desenvolvimento uma ferramenta (plataforma de desenvolvimento composta por um RTOS, um conjunto de arquiteturas compatíveis e software servidor) com objetivo de tornar mais simples e barato o desenvolvimento de projetos com componentes de hardware em laboratórios acadêmicos. A ferramenta já está sendo testada e será posta a prova em projetos existentes no Interlab que necessitam de componentes de hardware especializado. Até o momento a eficácia da plataforma está sendo mensurada por sua aplicação no projeto: VIMPHIN (http://hackeneering.com/vimphin) um dispositivo de interação háptico não-convencional de baixo custo (que pode ser replicado de maneira aberta e sem limitações) Sendo que são ainda previstos testes da plataforma em pelo menos mais dois projetos: Uma nuvem de marcadores infravermelho inteligentes (IR Diego Spinola, Interlab USP) Na implementação de hardware para gaze-tracking embarcado, a ser utilizado no projeto parceria Interlab/UNEMAT de título “Avaliação da percepção de presença em atividades de aprendizagem utilizando rastreamento do olhar” por Fernando Yoiti Obana Universidade do Estado de Mato Grosso. Ao fim do projeto de mestrado a ferramenta será publicada sob a licença OSHW (disponível em http://freedomdefined.org/OSHW) com software e esquemáticos distribuídos livremente online.

Palavras-chave: OSHW, Interatividade Háptica, Dispositivo Háptico.

Poster do projeto: PDF

 Um Método para Avaliar a Aquisição de Conhecimento em Ambientes Virtuais de Aprendizagem Tridimensionais Interativos

Eunice P. Santos Nunes e Fatima L. S. Nunes.

Muitos pesquisadores têm defendido que sistemas de Realidade Virtual (RV) e Realidade Aumentada (RA) são tendências na área de treinamento educacional. Isso porque os sistemas de RV e RA oferecem oportunidades para experiências imersivas e não imersivas, contextos e atividades realistas para o aprendizado experimental, simulações para treinamento, modelagem de cenários complexos, e a colaboração de múltiplos usuários interagindo entre si dentro do mesmo mundo virtual. Aplicações de RV e RA são encontradas em larga escala em sistemas de treinamento virtual tridimensional nos mais diversos campos de conhecimento, como Medicina, Engenharias, Indústria, Ciências e Matemática, entre outras. Dessa forma, com a popularização dos Ambientes Virtuais de Aprendizagem Tridimensionais (AVAs 3D) a partir de simulações de situações reais, o processo de aquisição de conhecimento (cognição) dos estudantes nos AVAs 3D tem sido alvo de pesquisas a fim de que tal aspecto seja considerado desde a fase de concepção desses Ambientes Virtuais. Em geral, as pesquisas direcionadas para avaliar a aplicação de AVAs 3D em atividades de aprendizagem têm identificado nos participantes do ambiente engajamento e motivação, entre outros aspectos positivos. No entanto, estudos têm demonstrado que atualmente existem muitas pesquisas relacionadas à temática de AVAs 3D, mas ainda incipientes do ponto de vista de avaliação da aquisição de conhecimento do aprendiz. Dessa forma há uma lacuna a ser preenchida, ao se estudar a avaliação da aquisição de conhecimento por meio de AVAs 3D, a fim de prover modelos e ferramentas de avaliação que possibilitem a avaliação da aprendizagem por pesquisadores da área educacional que fazem uso deste tipo de ambiente virtual. Considerando este cenário, o objetivo principal deste trabalho visa a estabelecer um Método de Avaliação da Aprendizagem em AVAs 3D, sob a ótica das Teorias Cognitivas, como forma de viabilizar experimentos que busquem verificar como e em que medida os AVAs 3D colaboram com o processo de obtenção de conhecimento. Sendo assim, inicialmente foi verificado o processo de aquisição de conhecimento nos Ambientes Virtuais de Aprendizagem, considerando o paradigma tridimensional, como também os métodos existentes para avaliar se ocorre de fato esta aquisição de conhecimento e em que grau ela ocorre. A partir deste estudo, foi definido um modelo conceitual para avaliar a aquisição de conhecimento, usando um Modelo Cognitivo, de forma inovadora, em complementação aos questionários amplamente empregados como instrumentos de avaliação. Atualmente o modelo está em fase de implementação computacional e definição de experimentos a serem conduzidos. Para validar o método proposto, serão construídas aplicações a partir de frameworks desenvolvidos no Laboratório de Tecnologias Interativas (Interlab) da Escola Politécnica da USP e do LApIS (Laboratório de Aplicações de Informática em Saúde) da Escola de Artes Ciências e Humanidades da USP, que serão utilizadas em experimentos em situações reais de aprendizagem.

Palavras-chave: Realidade Virtual, Realidade Aumentada, Avaliação, Aquisição de Conhecimento.

Poster do projeto: PDF

Técnica de reconstrução 3D multifaces baseada em luz estruturada para aplicação no vídeo avatar

Daniel de Andrade Lemeszenski e Ricardo Nakamura

Avanços tecnológicos recentes permitem evoluir uma videoconferência convencional para um sistema de teleconferência imersiva onde o apresentador é digitalizado e sua representação geométrica tridimensional (avatar realístico) é inserida em um ambiente virtual 3D. O objetivo deste trabalho é propor um método de reconstrução tridimensional, em tempo real, de um modelo geométrico dinâmico representando um ser humano em movimento, para aplicação em sistema de teleconferência imersiva.

Poster do projeto: PDF

Metodologia para Avaliação de Habilidades Sensório-Motoras em Aplicações de Treinamento Médico Virtual

Alexandre Martins dos Anjos e Fatima L. S. Nunes

A utilização de ambientes de Realidade Virtual (RV) é uma prática cada vez mais notória em aplicações desenvolvidas na área de educação e treinamento. Um caso especial é seu emprego em processos de aquisição de Habilidades Sensório-Motoras (HSM) em contextos de RV e treinamento médico. Nesse sentido, faz-se necessário mensurar a capacidade de um indivíduo produzir movimentos a partir de objetivos expressos em tarefas de domínios específicos utilizando-se aplicações desenvolvidas para contextos de RV. Para que seja possível desenvolver essa mensuração, faz-se necessário construir e validar um modelo que possa abstrair possíveis métodos e parâmetros de um processo de avaliação de aquisição de HSM. Considerando as faculdades que possuem as tecnologias de RV juntamente com o campo de aprendizagem de HSM, observa-se especialmente na área médica a ausência de pesquisas que consolidem uma metodologia a fim de que profissionais da área de saúde possam avaliar atividades de aquisição de habilidades que têm como foco a aprendizagem motora em contextos de RV. O presente trabalho tem como objetivo uma metodologia para mensurar a aquisição de HSM usando ambientes de RV. Para atingir este objetivo foi conduzida uma Revisão Sistemática (RS) para identificar estudos que abordam métodos e parâmetros utilizados em processos de avaliação de aquisição de HSM. Em seguida, foi definido um modelo conceitual para avaliar a aquisição de HSM. Atualmente, está sendo conduzida a implementação computacional do modelo conceitual, bem como desenhados experimentos para validar o modelo após sua implementação. Como prova de conceito pretende-se capturar interações realizadas em aplicações para treinamento médico de simulação de exames de biópsia. Tais aplicações são geradas a partir da adaptação de um framework Virtual Medical Training (ViMeT), desenvolvido pelo LApIS (Laboratório de Aplicações de Informática em Saúde), da EACH (Escola de Artes, Ciências e Humanidades), e pelo Interlab (Laboratório de Tecnologias Interativas da Escola Politécnica), ambos da Universidade de São Paulo – USP. O ViMeT é um framework orientado a objetos, que implementa um conjunto de classes em linguagem Java, gerando aplicações para simular exames de biópsia. O framework possibilita a construção de ambientes virtuais para manipulação de modelos sintéticos que representam órgãos humanos e instrumentos da área médica. Também oferece funcionalidades comuns ao domínio das aplicações como: estereoscopia, detecção de colisão com precisão, deformação e interação com dispositivos não convencionais. A estrutura modular do framework possibilita que novos métodos para essas funcionalidades ou até mesmo novas funcionalidades sejam acoplados sem dificuldades.

Palavras-chave: Avaliação de aquisição de habilidades sensório-motoras; Realidade Virtual; Treinamento médico; Ambientes Virtuais; Ambientes Virtuais de Aprendizagem.

Poster do projeto: PDF