Reconhecimento de Sinais da Libras por Visão Computacional

Autores

  • Giovanna Ono Koroishi Universidade de São Paulo
  • Bruna Vieira Louzada Silva Universidade de São Paulo

DOI:

https://doi.org/10.11606/issn.2526-8260.mecatrone.2015.116344

Resumo

O reconhecimento automático linguagens de sinais promete facilitar a comunicação entre surdos e o restante da população. As tecnologias atuais esbarram em obstáculos como dificuldade de rastreio das mãos e reconhecimento de poses. Este projeto estuda uma abordagem probabilística para a identificação de sinais da LIBRAS com um sensor RGBD. Essa identificação é baseada na classificação SematosÊmica da linguagem. Durante o projeto, foi implementado um identificador automático de sinais da LIBRAS que captura o vídeo através do sensor Kinect, segmenta o objeto de interesse (a mão direita) e calcula a probabilidade dos sinais. O principal desafio do trabalho foi reconhecer as configurações de mão e para solucioná-lo utilizou-se modelos estruturados em nuvens de pontos e o algoritmo de ICP. O projeto mostrou que essa abordagem torna viável o reconhecimento automático, pois obteve-se 65% de acerto entre 48 testes envolvendo 12 sinais diferentes, mesmo com as limitações de recursos e tempo existentes.

Downloads

Os dados de download ainda não estão disponíveis.

Biografia do Autor

  • Giovanna Ono Koroishi, Universidade de São Paulo
    Departamento de Engenharia Mecatrônica e Sistemas Mecânicos, Laboratório de Geometria Computacional

    RECONHECIMENTO DE SINAIS DA LIBRAS POR VISÃO COMPUTACIONAL

Downloads

Publicado

2015-05-11

Edição

Seção

Artigos

Como Citar