Guante Traductor De Lengua De Signos: 6 vaihetta

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:00

V Y si te dijera que ahora es posible hablar sin abrir la boca? ¡El traductor que proponemos nosotros está alcance de tu mano! Con pocos materiales algo de código puedes buildir un guante que traduzca la lengua de signos por un altavoz o una pantalla para que la convivencia se haga un poco más amena. El proyecto que proponemos únicamente sirve para el abecedario, pero te animamos a que lo jatkuu peräkkäin traducir palabras y así entre todos podamos hacer un producto que pueda ser realmente para todo el mundo. Los materiales que vamos a utilizar son:

• Epämiellyttävää. Nosotros hemos utilizado uno que tenga la opción de escribir en pantallas táctiles para que el día a día sea algo más ameno.
• 6 acelerómetros. Elegimos los MPU6050 por ser los más fáciles de encontrar en el mercado, mutta realmente te vale cualquier otro que encuentres.
• Mikroprosessori. El SP32 Heltec nos ha servido por tener pantalla includerada. Además, se puede programar en IDE de Arduino, el más popular en estos tiempos que corren.
• Un altavoz de 8 ohmios de resistencia interna para aprovechar al máximo la potcia.
• Uno modulo para tarjetas SD. Äänentoistojärjestelmä cada símbolo que guardemos. Hemos hyödyntää DFPlayer mini MP3 -palvelua helppokäyttöisesti.
• Batería. Akussa on 9000 mAh: n akku, joka riittää virtaamaan parhaalla mahdollisella proyectolla, ei ocupa mucho y permite una vida larga al proyecto. Si añadimos ja switch podemos encender y apagar el dispositivo cuando queramos.
• Kaapeli. Aunque parezca una tontería, siempre es el elementento que se nos olvida al empezar un proyecto y es de lo más elemental. Suosittelemme kaapelia fino y hay que tener en cuenta que cada acelerómetro usa 5 cable. Ei os preocupéis, es realmente barato.
• Una placa de inserción. Nos sirve con 4 columnas cortocircuitadas por 8 pines cada una, lo que es bastante pequeña para no notaria en el guante. Es opcional, pero nos hace la vida realmente más fácil.
• Soldador y estaño para unirlo todo.
• Hilo y aguja para coser nuestros sensores al guante.

También va a ser necesario un poco de código, pero eso os lo ofrecemos nosotros, como regalo, al final del proyecto.

Como veis son todo materiales baratos y fáciles de conseguir, ¡este proyecto está al cance de todo el mundo!

Vaihe 1: Comprobar Que Los Acelerómetros Funcionan

Siempre es importante comprobar que el material que estamos usando funciona, por eso de tener claro que las cosas funcionan antes de que haya que empezar de nuevo el proyecto. Lo primero que haremos será soldar los kaapelit

Podemos probar los sensores sin soldar primero, pero nos arriesgamos a muchos fallos debidos a malas conexiones. El otro extrememo de los kaapelit hallra con contocarlos a una protoboard para poder conectarlos y desconectarlos con helpidad. 22 (es suositeltava buscarse un mapa de pines de la placa que estamos usando y asegurarse de que dichos pines nombrados seresponden a los que nos interesan) y AD0 a cualquiera de los pines digitales. En el caso de la placa SP32 Heltec hay que tener cuidado con no utilizar los pines 4, 15 y 16, que son los que utiliza para la pantalla. Si utilizamos uno de estos, quizás no podamos usarla en nuestro proyecto. Aunque os recomendamos comprobar con el modelo que usáis por si acaso no sattumo, el esquema de pines de nuestra placa es el siguiente:

Utilizaremos el protocolo I2C comunicarnos con todos los sensores, por lo que podemos utilizar las librerías abiertas que hay en internet para utilizar en este protocolo y son realmen sencillas de usar. La primera la podemos encontrar en la siguiente gág. Https: github.com/tfeldmann/5411375 Copiamos el código. Tunnista ayudará ja identifier las direcciones en las que estamos leyendo. Estos dispositivos vienen porfecto con la directcción 168, pero si ponemos a nivel alto el pin AD0 de nuestro sensor podemos cambiar la directcción a la 169. Hay que comprobar que se activan las dos direcciones.

Descargamos el zip ja en IDE de Arduino vamos a Programme> Incluir Librería> Añadir librería Zip. Con esto ya tendremos la librería para manejar los MPU, pero además se nos ha incluido and program de ejemplo para leer los sensores. Liity mukaan, podemos ir a Abrir> Ejemplos> MPU6050> MPU6050_raw.ino. Al abrir el monitor serial cambiamos los baudios a 38400 y al cargarse el program deberíamos obtener la lectura de los seis parámetros que nos ofrece el sensor: tres de la aceleración relativa y otros tres de la aceleración de la gravedad. Estos últimos son los que usaremos para comprobar la posición de cada giróscopo, pero lo veremos en un paso posterior.

Vaihe 2: Leer De Todos Los Acelerómetros Al Mismo Tiempo

Una vez comprobado que cada sensor nos funciona por separado, hay que comprobar que nos funcionan todos al mismo tiempo. Para esto habrá que conectarlos con nuestra placa de inserción, cortocircuitando todos los pines de alimentación (VCC), masa (GND) dat SDA) y reloj (SCL). Los pines AD0 los conectaremos a pines digitales diferentes para poder decidir cuál activamos en cada momento. Tämä on tärkeä mirar cuáles son los pines que utiliza la placa que estamos utilizando para comunicarse con la pantalla, como ya hemos dicho, ya que si utilizamos alguno de estos pines no nos funcionará. Debería quedar de una forma parecida al siguiente esquema (click para ampliar):

Parece una maraña de cable, pero podemos ver que todos los kaapelit del mismo color están cortocircuitados y llevados a su pinrespondiente, menos los de AD0, que se conacta directamente a la placa. El código para poder utilizarlo es unaa modificación del que hemos utilizado antes para leer los datos de cada uno de los sensores. Hemos calculado que tardamos 2ms en leer cada sensor, por lo que cada 4ms (para dar un margen de seguridad) cambiaremos de sensor que leemos poniendo a nivel alto el pin AD0 del sensor de lectura y el resto a nivel bajo, leyendo así de la ohjaus viasta. De todas muodot el código täydentää helpotusremonia ja unelma huoneistot ja podrán ver todos estos yksityiskohdat. En este punto del proyecto debemos estructurar bien la posición de cada sensor en el guante, de la placa de inserción y del microcontrolador, porque el siguiente paso es soldarlo todo y coserlo al guante. Tärkeää on, että sinulla on tärkeä merkitys ja kuinka paljon jännitteitä on olemassa, kun kaapelit on asennettu, ja jos haluat, että sinulla on romperse, joka tarjoaa helpotuksia ja ei mitään. Es preferible que sobre cable y quede algo feo que tener que llevar un soldador en el bolsillo cada vez que quieras utilizar el producto final. A la hora de coser los acelerómetros muy importante dejarlos bien fijos, lo que nos helpitará el camino de fijar rangos de valores en un futuro no muy lejano. Ei olvidarse del acelerómetro de referencia en el dorso de la mano, jate debe quedar bien fijo, aunque es el más difícil de coser. En nuestro guante quedó de la siguiente manera:

El pegamento lo utilizamos para que los cable no se rompieran, no tiene nada que ver con la fijación al guante. No se ve muy bien porque usamos hilo negro (justamente para que no se note), pero lo que hicimos fue aprovechar los agujeros libres que teníamos del propio acelerómetro para fijarlo, y luego darle un remate para fijar los kaapelit para que siguieran una guía recta por el dedo.

Vaihe 3: Sacar -tulokset Pantallalta

No queremos depender continamente del ordenador, y menos si tenemos una pantalla conectada a nuestro mikroprosessori. Para poder escribir sobre esta, hay multitud de librerías ya escritas para poder hacerlo. Nosotros hemos optado for librería “U8g2”, que se puede descargar and instalar desde el mismo IDE de Arduino:

En concreto, se utilizará el paquete, que se incluirá al principio del código. El uso de la librería es muy sencillo. Para mostrar por la pantalla del ESP32, utilizaremos la función u8x8.drawString (), cuyo parámetro de entrada será el valor a mostrar. Para ajustar el número de dígitos a mostrar, podemos usar la función sprintf, que nos permite variar la precisión con la que mostrar nuestras medidas. Un sencillo ejemplo sería:

sprintf (buf, "%06d", kirves); u8x8.drawString (0, 0, buf);

Como queremos sacar los datos que hemos obtenido en el paso anterior, os vamos a helpitar ya el código con el que se puede hacer, que es una combinción de las librerías que hemos ido viendo con nuestros ajustes.

Al conseguir este paso, el proyecto quedaría prácticamente hecho, pues solamente queda encontrar los Márgenes de posición que debemos poner para cada letra e ir adaptándolos para que las letras sean correctas con la posición de la mano.

Vaihe 4: Fijar Rangos De Valores

Dependiendo de cómo hayamos cosido los sensores al guante habrá unos valores u otros, por lo que no podemos ofrecer los datos que nos sirvieron a nosotros. De todas muodot, la manera de conseguirlos no es nada complexada. Consiste en utilizar unos umbrales que delimitan las distintas posiciones de los dedos y asignan un valor a cada dedo (que nos indicará la posición de dicho dedo). El Program tiene estas -kotelot:

• Muestreo: en esta etapa obtenemos los valores de los acelerómetros. Para ello vamos mirando cíclicamente cada uno y guardamos su valor. Una vez obtenidos los datos de los acelerómetros utilizamos unos umbrales para simpleificar la detección de cada letra posteriormente. Dentro de los acelerómetros tenemos 3 comportamientos diferentes, y por ello 3 tipos de umbrales distintos, estos son:

  • Acelerómetro de referencia: será el colocado en el reverso de la mano y nos indicará cómo está orientada la mano. Con los umbrales utilizados diferenciamos entre 3 paikkaa: ylös, alas y koko.
  • Pulgar: en función del resultado obtenido en el acelerómetro de referencia utilizaremos unos umbrales u otros. En todos los casos miraremos hacia donde está el pulgar orientado.
  • Palautus dedos: al igual que en el pulgar miraremos cómo están colocados los dedos respecto al acelerómetro de referencia. La diferencia está en que en este caso solo miramos si está estirado, curvado, doblado o muy doblado.

• Tunnista letra: una vez obtenidas las posiciones de los dedos comparamos uno a uno los dedos para ver si cumplen o no una posición de una mano. Para ello utilizamos una list de prioridad, por lo que evitamos que se cumplan varias letras en caso de error asegurando así que el program sigue funcionando de forma correcta. Para asegurarnos de que una letra es correcta y no ha sido un error hemos creado un algoritmo de seguridad (ya que es todennäköinen que sin quererlo la persona su mano pase por una letra sin querer). Dichon algoritmi tiene dos funciones:

  • Evitaarinen ilmaisu, joka antaa kirjaimellisen muodon: para que se harkitsee que una letra es correcta jata debe mantenerse Constante durante aproximadamente 1 segmentti.
  • Evitar detector de forma periódica una letra: una vez detectada la letra no se volverá a detectar a no ser que varíe la posición de la mano, es decir, si se mantiene el gesto de la letra “a” durante 10 segmentti solo se detectará una "A". Si queremos poner dos veces la misma letra debemos mover la mano levemente para que deje de detectarse como “a” y volver a hacerla.

• Jäljentäminen: en esta fase reproduciremos la letra que hayamos detectado anteriormente, para ello utilizamos el DF Player realizando los siguientes pasos:

  • Inicializar el puerto -sarja
  • Luo ja käytä tyyppiä "DFRobotDFPlayerMini.h".
  • Inicializar el reproper
  • Konfiguroi el volumen seleccionar la pistarespondiente a la letra detectada
  • valitse la pista kirjeenvaihtoa la la letran havaitsemiseksi

  Una vez configurado por primera vez el repr reprolo solo debemos seleccionar qué pista reprcir

• Näyttö: el monitor tiene dos funciones, durante la fase de desarrollo nos servirá para tener un feedback inmediato sobre la posición de los dedos para que, si no sale alguna letra, podamos ver qué dedo está fallando y así correctgirlo más fácilmente modificando levemente los valores de los umbrales. Durante la fase de venta del producto la pantalla se utilizará para que el usuario tenga un feedback inmediato, sabiendo que lo que ha dicho ha sido correctamente interpretado por el guante.

Vaihe 5: Ääni

¡Sólo nos queda sisältää äänen eri vaiheet ja nuoremman projektin, ja sinulla on tendremos nuestro guante traductor de signos! Käytä DFPlayer mini MP3 -laitetta, jos haluat lisätä sen ja lisää sen käyttöä. Necesitaremos únicamente los pines Tx y Rx de nuestro microcontrolador. Mediante una conexión como enseña la figura conectamos la placa, el lector de tarjetas y nuestro altavoz:

Sin olvidar que el pin Tx del DFPlayer ei tarvitse una resistencia de 1Kohm para funcionar correctamente. Pero no todo podía ser felicidad en éste mundo; el Tx y Rx on viallinen mikroprosessori, joka käyttää laitetta, joka käyttää tietoja microUSB: stä, joka on ohjelmoitu ohjelmaan, jos haluat käyttää sitä, kun käytät habría que conectarloa ja akun ulkopuolista laitetta sekä yhdistelmätoimintoa. Nos pareció una manera poco práctica de funcionamiento, por lo que utilizamos la siguiente librería:

github.com/DFRobot/DFRobotDFPlayerMini

Que nos permite utilizar cualquier pin digital como transmisor y reseptori. En nuestro caso elegimos el 25 y el 26. Por lo tanto el código queda de la siguiente forma:

github.com/DFRobot/DFRobotDFPlayerMini

Tämän sarjan viimeinen käyttökerta ja todas las funciones están ya implementadas.

Vaihe 6: Último Paso

Si hemos llegado a este paso quiere decir que sólo falta hacer este proyecto portátil: conectando nuestro microcontrolador con una akut ya podemos desprendernos de nuestro ordenador. Jos näin ei tapahdu, tämä vaihtoehto on keskeytettävä ja se on kaapelipositiivinen.

De esta forma nos aseguramos que el altavoz quede orientado hacia la palma de la mano. Así es como queda el proyecto que hemos propuesto:

drive.google.com/file/d/1vr76rb4KjsyfqO1U7v-mywLYcgoDTNO8/view?usp=sharing

Una mejora que nos gustaría proponer es una coraza que proteja la elektrónica del agua y de los golpes. Para un lenguaje de signos más complete que permita un repertorio de palabras other complete serian necesarios dos guantes que se comunicaran entre sí. Por lo que otra de las mejoras sería el implementar el system de comunicaciones entre los guantes. La placa que hemos utilizado tiene un modeulo de internet included, lo que puede llegar a ser útil para esta tarea. También puede utilizarse un pequeño módulo BLE (Bluetooth Low Energy) para la misma función, realmente se puede hacer de muchas formas, ¡sé creativo!

Y viimeinen nos gustaría despedirnos y agradeceros que se haya seguido hasta el final este proyecto. Esperamos que le sirva a mucha gente y que nos mandéis de alguna forma el resultado de vuestro proyecto. Es más, nos encantará ver si alguno ha implementado las mejoras propuestas.

¡Mucha suerte y fuerza, vertaiset!