Automatic sign language translation based on machine learning

Last updated 15 October 2020 HTML5 Icon

Description

A produção de conteúdos digitais (educativos e outros) para surdos requer a participação de

especialistas em produção e edição de vídeo e intérpretes de língua gestual. É um processo

demorado e oneroso dada a quantidade de recursos especializados de que necessita. Estas

circunstâncias dificultam a inclusão de surdos na vida ativa e na sociedade de uma forma geral.

Um sistema automático de tradução entre texto e língua gestual -- seja na forma da escrita de

sinais e/ou na forma de um vídeo -- permitirá criar recursos digitais próprios para surdos (em língua

gestual) com rapidez e a baixo custo, contribuindo para promover a inclusão e igualdade de

oportunidades.

Pretende-se nesta tese desenvolver um sistema de tradução de texto para língua gestual recorrendo a técnicas de tradução de corpora paralelos e a aprendizagem automática

para permitir a tradução automática ou semi-automática de qualquer língua oral para a respetiva

língua de sinais. A tradução automática com base em corpora paralelos é uma área de investigação recente no Âmbita da aprendizagem máquina.

 

Plano de trabalhos preliminar:

1 – definir concreta e formalmente o problema e as hipóteses de investigação

3 – analisar o estado da arte em tradução automática com base em corpora paralelos e/ou

aprendizagem automática

2 – desenhar uma solução para compilação de copora paralelos em língua gestual e língua oralizada e para construção de modelos de tradução

3 – recolher recursos/corpora necessários

4 – implementar solução

5 – avaliar

6 – disponibilizar o serviço de tradução online (web service, API, ...)

7 – publicar um artigo científico

Benefits

This project is integrated in the R&I activities of the GILT research group

Host

ISEP

City

Porto (PORTUGAL)

Study Domain(S)

Computer Science and IT

Valid until

13 April 2021

Languages

English

Study Degree

Master, PHD

Payment

Not Paid

Certification

Certified




Share this offer!