Un estudiante recién titulado de la UPB (Dylan Jitton) diseñó una aplicación para ayudar a personas no videntes a distinguir billetes o carteles de transporte público. El proyecto consiste en una aplicación móvil que utiliza la cámara del dispositivo, sea iOS o Android, para identificar letreros o billetes bolivianos a partir de imágenes. El programa también puede identificar otros objetos, como los carteles del transporte público.
Un estudiante recién titulado por excelencia de la UPB diseñó una aplicación para ayudar a personas analfabetas y no videntes a distinguir billetes o carteles de transporte público. Se trata de Dylan Diego Jitton Zorrilla, estudiante de la licenciatura en Ingeniería de Sistemas Computacionales de la universidad, quien desarrolló el proyecto para asistir a su madre.
El proyecto consiste en una aplicación móvil que utiliza la cámara del dispositivo, sea iOS o Android, para identificar letreros o billetes bolivianos a partir de imágenes. El programa puede distinguir un máximo de seis billetes en una sola fotografía, reconociendo los cortes de 10, 20, 50, 100 y 200 Bs., sean impresiones antiguas o nuevas.
Por otra parte, la aplicación es capaz de identificar los letreros de los minibuses de La Paz. Según su creador, puede describir básicamente cualquier objeto, persona o información en texto al que se le pueda tomar una fotografía. Esto lo procesa, desde un ordenador de forma local, y devuelve una respuesta en texto, la cual se envía al celular. Finalmente, a través de un modelo de narración de voz integrado en cada dispositivo móvil, puede enunciar la respuesta en voz alta.
“El proyecto surge a partir de la discapacidad de mi madre, quien tiene glaucoma desde nacimiento y ha tenido dificultades para ver durante una gran parte de su vida. Lamentablemente, en 2017 contrajo una ceguera absoluta debido a una alta presión de su nervio óptico, y todos esos años han sido de gran dificultad para ella. Como ella, miles de personas no videntes sufren de problemas para moverse en la ciudad, para interactuar con billetes, objetos, lectura de documentos, y situaciones en las que ellos dependen de otras personas que no siempre tienen el tiempo para ayudarlos”, declaró Dylan.
El objetivo final es que el proyecto pueda ser implementado en un servidor que pueda estar corriendo de forma ininterrumpida para ejecutar los procesos, que por su complejidad requieren de un nivel de potencia elevado.
“Actualmente está corriendo dentro de mi computadora. Sin embargo, recientemente tuve problemas con mi cuenta y tuve que conseguir otra, por lo que en el aspecto del mantenimiento no siempre es sustentable para un solo individuo. Debido a eso, me gustaría poder tener la asistencia tanto de alguna organización o alguna empresa que pueda patrocinar el proyecto y en este caso darle el mantenimiento a nivel de hardware, como algunos recursos de software para mejorar en ámbitos como la seguridad, la eficiencia y que pueda ser un proyecto que pueda llegar a miles de personas no videntes o analfabetas, ya sea en La Paz o en el resto del país”, explicó el joven talento.
Otras aplicaciones
Más allá del reconocimiento de billetes, la app puede identificar los letreros de los minibuses de la ciudad. Al tomar una foto a un vehículo de La Paz, detecta el área donde se encuentra el cartel y utiliza otro modelo que se encarga de reconocer el texto dentro de éste, demarcando la dirección deseada. Existen planes para refinar este aspecto con miras a que el programa tenga la capacidad de distinguir otros tipos de escritos y otras convenciones de transporte público como en el caso de Santa Cruz.
Así también, también está disponible el uso multimodal, que no utiliza modelos entrenados para detectar cosas en específico, sino que se sirve de los LLM (Modelos de Lenguaje Grande), que funcionan de forma similar a servidores como Chat GPT, que pueden generar una respuesta completa, siempre y cuando haya recibido una instrucción de texto, que en este caso partiría de una imagen.
El programa es capaz de reconocer objetos variados o de describir el color y las distintas situaciones en las que se encuentra para dar una respuesta detallada al usuario. Además, tiene la ventaja de que no necesita pagar por el uso de tokens o servicios a empresas como Chat GPT o Google Gemini, ya que usa modelos de código abierto que corren de forma local interna, lo cual a largo plazo termina resultando mucho más económico e independiente.
El apoyo de la universidad
“Resalto el espíritu de nuestros docentes y estudiantes generando proyectos y soluciones de alto impacto en nuestra sociedad. En el caso de Dylan, el proyecto ayuda sustancialmente a las personas no videntes y puede ampliarse a los cientos de miles de personas analfabetas en nuestro país sin ningún problema. Como universidad seguiremos impulsando el uso de la Inteligencia Artificial y todas las tecnologías en la generación de resultados útiles para nuestra Bolivia”, comentó Tommy Pozo Vila, Decano de la Facultad de Ingenierías y Arquitectura del campus paceño de la UPB.
Por su parte, la universidad brindó su apoyo en la orientación del proyecto, principalmente a través del aporte del docente Fernando Silva, Magíster en Inteligencia Artificial, quien ofreció una guía ética y práctica sobre los modelos y técnicas de procesamiento de imagen que debían utilizarse para llevar a cabo el trabajo.
“También quiero expresar un gran agradecimiento a mis excelentes docentes como Rainer Villalba, quien fue el encargado de revisar las buenas prácticas en desarrollo de infraestructura de software y de supervisar el funcionamiento correcto o que el código esté bien estructurado y que marche de manera legible, o que pueda ser mantenible. También agradezco a mi jefe de Carrera, Alexis Marechal, y a mi docente Marcelo Ticona, por ser los encargados de orientarme en la parte de la aprobación del proyecto, la documentación y la estructuración a nivel arquitectura de software, el cual es un aspecto muy tangible en el que debía regirme”, concluyó el flamante profesional.
Dylan espera poder seguir colaborando con su Alma Mater para llevar a cabo el proyecto y que pueda convertirse en una realidad tangible que pueda ayudar a miles de personas con discapacidades en el país.
