Un avatar ayudará a discapacitados auditivos a buscar empleo

Un equipo multidisciplinar de investigadores de la Universidad de Sevilla (US), dirigido por el profesor José Gabriel de Amores Carredano, trabaja en el desarrollo de un prototipo de un avatar que, integrado en una página web, sea capaz de responder preguntas a través de lengua de signos sobre empleo.

Esta aplicación se desarrolla en el marco del proyecto de excelencia AVIDEA asistente virtual, para personas con este tipo de discapacidad. El grupo de investigadores está integrado por especialistas en lingüística, traducción automática, lengua de signos, procesamiento del lenguaje natural, comunicación no verbal y desarrollo de software de la US.

La plataforma está dirigida a personas con discapacidad auditiva y con diferentes niveles de lectoescritura. Para ello, el programa ofrece dos alternativas para interactuar con el avatar. Por una parte, la persona demanda información a través del teclado del ordenador y el asistente virtual contesta en lengua de signos. La segunda opción, consiste en formular las preguntas o dudas en lengua de signos.

En esta modalidad, una persona física conectada a través de una webcam se encarga de transcribir estas preguntas a través de un teclado al avatar, que contesta a quien formuló la pregunta inicial en lengua de signos. La posibilidad de que el usuario elija cómo interactuar es lo que se conoce como diálogo multimodal. Será posible, además, utilizar una combinación de ambas formas.

Accesible para personas sordas con bajo nivel de lectoescritura

“Actualmente, existen webs con un asistente virtual pero este no es accesible para personas sordas, porque su grado de lectoescritura puede ser bajo. Pensamos cómo podíamos adaptar estos sistemas para hacerlos accesibles a todas las personas con discapacidad auditiva al margen de su nivel de lectoescritura”, afirma el investigador principal.

Las características de los sistemas de diálogo multimodales hacen que el estudio del proyecto sea una tarea inherentemente multidisciplinar. “Cada modalidad de interacción trae consigo su propia problemática y exige conocimientos expertos en diferentes áreas”, matiza De Amores.

El equipo ha subcontratado a la empresa Intelligent Dialogue Systems el desarrollo del avatar y su integración en una web. También cuentan con la colaboración del proyecto GANAS, de la Universidad de Castilla-La Mancha y la Fundación CNSE para la supresión de las barreras de comunicación.

Los investigadores vaticinan que el asistente virtual se podrá incluir en las páginas web de organismos oficiales que proporcionan información sobre empleo. Posteriormente, podrá dar respuesta a otras demandas del colectivo de deficientes auditivos como, por ejemplo, la sanidad.

Con la ayuda del Mago de Oz

Para conocer con detalle la forma de acceder y comunicarse de las personas sordas con un avatar (si por lenguaje de signos o por teclado) o conocer cómo realizan la búsqueda de empleo, los investigadores iniciarán el estudio con experimentos denominados Mago de Oz.

Se trata de una modalidad en la cual los usuarios interactúan con un sistema informático que ellos creen ser autónomo, pero que en verdad está siendo controlado a escondidas por otro sujeto. Veinte personas con deficiencia auditiva, pertenecientes a alguno de los colectivos o asociaciones con los que colabora la US en este proyecto, han sido seleccionadas para participar en esta parte inicial de la investigación.

El desarrollo de avatares y personajes virtuales no es algo nuevo y existen numerosas aplicaciones comerciales que los explota, pero muy pocos de esos asistentes son capaces de comunicarse con personas con discapacidad auditiva. Según el equipo investigador, ha habido intentos previos de desarrollar avatares para lenguas de signos en otros idiomas como el inglés británico, coreano, y castellano.

Sin embargo, ninguno de ellos se ha integrado dentro de un sistema de diálogo multimodal, donde la modalidad de salida para personas con discapacidad auditiva es una de las posibles, al mismo nivel que otras, como la voz.