Aplicación Android para la detección de barreras arquitectónicas

corte3

Una de las dos líneas de desarrollo dentro del proyecto Lázaro está dedicada a la detección y caracterización de barreras arquitectónicas en edificios. Para ello en el B105 hemos desarrollado una aplicación Android aprovechando la plataforma de visión artificial Google Tango.

La aplicación está destinada a medir el ángulo de inclinación de las rampas de acceso para personas con movilidad reducida. Hasta ahora, los operarios que realizaban esta tarea debían efectuar medidas y cálculos a mano sobre las rampas. Con esta app la medida del ángulo consiste simplemente en un toque sobre la pantalla.

Para evitar posibles imperfecciones en la medida se le pide al usuario que realice dos mediciones de cada rampa, guardándose la media entre ambas. En la aplicación existe una pantalla de ayuda que explica el proceso al usuario.

Además de esto, en la aplicación pueden consultarse todas las medidas que se han realizado anteriormente con el dispositivo y hacer capturas de pantalla de las mediciones.

Detección de indicadores de fatiga basado en la obtención de imágenes en tiempo real.

1366_2000

Dentro del proyecto Simbiosys buscamos la detección de fatiga mediante imágenes obtenidas por cámara, como apoyo al sistema de detección de indicadores de fatiga mediante EEG.

Este módulo del sistema multisensor consiste en una cámara de bajo coste que obtiene las imágenes del sujeto para analizar en tiempo real. Además, es necesario que pueda detectar luz infrarroja, para los casos en los que la luz sea escasa. El módulo se basa en la detección facial de la cara, para poder obtener posteriormente la detección de ambos ojos.

 

El objetivo es obtener el porcentaje de tiempo en el que el ojo se encuentra cerrado durante un minuto (AVECLOS). Por tanto, si el porcentaje es mayor que el porcentaje normal de tiempo en el que una persona presenta los ojos cerrados, se considera que el sujeto se encuentra cansado o fatigado.

anigif_enhanced-1921-1443102494-2

 

El sistema final comparará la información obtenida tanto como por el electroencefalograma como por la cámara, para obtener con mayor seguridad el estado en el que se encuentra el sujeto.

Demotherm. Pruebas del robot en entorno real de trabajo

IMG_9847

Finalizados los desarrollos software en el laboratorio B105, era momento de volver a la universidad de Oviedo para realizar pequeñas reparaciones en la parte mecánica del robot.

Estas modificaciones mecánicas fueron rápidas ya que básicamente consistieron en cambiar piezas ya desarrolladas por otras modificadas que cumplían mejor con su misión.

Cuando el robot estuvo a punto tanto en la parte mecánica como electrónica, era momento de visitar las instalaciones de Therman, la empresa responsable del proyecto Demotherm. El objetivo de esta visita era el enfrentar el robot a un escenario real de trabajo y comprobar si la parte mecánica y electrónica cumplían con las especificaciones con las que se definió el proyecto.

El robot de demolición de refractario para ciclones cumplió holgadamente sus expectativas y fue capaz de agarrarse a las paredes del ciclón con sus orugas y realizar desplazamientos verticales. Una vez realizadas estas pruebas de comunicación, control, fuerza y movimientos en un ciclón de ensayo sólo nos queda probar la bomba de agua. 

Pruebas All-in-One preliminares

IMG_6198

En el proyecto All in One el objetivo fundamental es recoger datos de tráfico para, mediante diferentes métodos, monitorizar el tráfico y realizar un conteo de vehículos.

Para realizar las primeras pruebas nos pusimos en contacto con nuestros compañeros de Aceinsa que nos facilitaron varios puntos clave de la ciudad de Majadahonda como posibles lugares para realizar las pruebas. Gracias a su colaboración, y a la del ayuntamiento de Majadahonda, hemos podido realizar las mismas y tener de forma permanente una caja con alimentación que nos servirá para las pruebas futuras.

El objetivo de estos tests ha consistido en la toma de, aproximadamente, una hora de medidas acompañadas de la correspondiente filmación de vídeo para el cotejo de los datos recogidos a posteriori.

Esperamos que, como resultado de estas pruebas, seamos capaces de realizar una calibración más apropiada de los cabezales radar utilizados en el sistema y que la detección y conteo de vehículos aumente en fiabilidad.

 

IMG_6204
Caja para pruebas situada en la misma farola juntos con dos cabezales radar y una cámara de vídeo

Demotherm. Desarrollo software del robot

IMG_20170926_182816

Una vez concluyeron las primeras pruebas de integración de la parte electrónica-mecánica el robot viajó al B105 en su sede de Teleco-Madrid para continuar con los desarrollos del proyecto Demotherm.

Antes de este momento ya se había avanzado bastante en diferentes módulos tanto de software como de hardware electrónico. Por un lado se habían diseñado, fabricado y soldado varias placas de circuito impreso para probar las comunicaciones CAN entre la unidad central de proceso del robot y los motores y sensores del mismo. Por otro lado estaban ya bastante avanzados los desarrollos de drivers para los motores y sensores y la arquitectura software que iba a seguir el proyecto.

Una vez el robot estuvo con nosotros se pudieron probar estos desarrollos software y hardware con un interacción directa sobre la mecánica del robot. Los desarrollos dieron sus frutos y todo funcionaba como se esperaba. Mientras el robot estuvo en el B105 se realizaron numerosos avances en el software de control. Desde las diferentes capas de control de los motores, potenciómetros, acelerómetros, etc. hasta la parte de comunicaciones remotas.

El robot está basado en un ARM® 32-bit Cortex®-M7 CPU con FPU, y todo su software ha sido desarrollado en lenguaje C, basando su arquitectura en el sistema operativo FreeRTOS.

No hay que perder de vista que este robot se debe controlar de forma remota por un operario, por lo que debemos tener una interfaz de usuario a partir de la cual el operario tenga control total del robot, y además pueda obtener la información que considere necesaria para operar.

Cuando todos estos desarrollos fueron testeados y se llegó a un estado estable de funcionamiento, era momento de volver a Gijón para probar el robot en un entorno real de trabajo, y ver si tanto mecánica como electrónica cumplen con sus especificaciones.

 

Demotherm. Integración electrónica-mecánica

IMG_20170727_132346

El pasado mes de julio el grupo de trabajo de nuestro laboratorio B105, responsable del desarrollo del robot del proyecto Demotherm se desplazó a Gijón. Concretamente a la universidad de Oviedo, para trabajar conjuntamente con el Grupo de Ingeniería de los Procesos de Fabricación.

El objetivo de la visita era hacer la integración electrónica-mecánica del robot que se encuentra en desarrollo. La parte electrónica había sido desarrollada por nosotros en Teleco (Madrid), mientras que la parte mecánica había sido desarrollada por el grupo de Gijón. Este encuentro era el primero en el que ambos desarrollos se unirían.

Durante varios días se realizaron diversas pruebas e integraciones para probar cada uno de los pequeños módulos que conforman el robot. A lo largo de este periodo se detectaron pequeños errores de fácil arreglo y se comprobó que ambos desarrollos seguían la línea de desarrollo previamente acordada.

Tras estos productivos días en Gijón, se decidió que el robot viajara al laboratorio B105 para continuar allí con el desarrollo del software y su implementación en el robot.

Tests de Funcionamiento de un Sistema de Monitorización de Estructuras

IMG_6095

Derivado de un proyecto realizado junto con la escuela de caminos (ETSICCP), entre otros miembros, estamos realizando una colaboración con dicha escuela para finalizar el desarrollo de un sistema de monitorización de estructuras inalámbrico.

El sistema consiste en varias PCBs, cada una de las cuales tiene un objetivo diferente. Por poner algunos ejemplos, hay una PCB para alimentación del sistema, otra para adecuar la señal procedente de los sensores, otra para digitalizar las señales ya adecuadas, etc.

IMG_6091
Imagen del sistema usado para pruebas.

Tras haber realizado múltiples pruebas en el laboratorio y tener montado y testado un sistema cuasi-final nos hemos desplazado de visita a la ETSICCP para hacer unas pruebas con nuestros compañeros “camineros” Jaime y Jose Manuel.

Estas primeras pruebas que hemos realizado han sido unas pruebas de comprobación del funcionamiento del sistema en una forma bastante básica. Esto significa que el objetivo era probar, en una estructura con una vibración controlada y conocida, que los datos registrados y guardados por el sistema se correspondían a los esperados. Los resultados obtenidos, además de exitosos, puesto que se han registrado correctamente las excitaciones inducidas a la estructura, han proporcionado algunas pinceladas para mejorar el sistema. Los siguientes pasos a realizar involucrarán el uso de sincronización inalámbrica entre varias unidades del sistema con vistas a ser capaces de monitorizar grandes estructuras con un mínimo despliegue de cables.

IMG_6092 (1)
Captura del montaje realizado sobre una viga.
IMG_6103
Datos recogidos por el sistema.

 

Conexión con la red NB-IoT de Vodafone

NBIOT-ublox

Ya estamos trabajando con los módulos NB-IoT del proyecto Sensoriza y hemos conseguido conectarnos con la red de Vodafone desde el laboratorio.

Hemos hecho pruebas con dos plataformas hardware. En primer lugar usamos una shield NB-IoT para Arduino de la empresa SODAQ que incorpora el módulo SARA-N211 de u-blox. Nosotros la utilizamos de forma autónoma, alimentándola directamente sin utilizar ningún Arduino. Por otro lado tenemos el módulo BC95 de Quectel montado en su propia Evaluation Board. Ambos se conectan mediante un puerto serie USB a un ordenador, ya que los módulos se controlan mediante comandos AT. El escenario de pruebas es el siguiente, con el módulo de u-blox más pequeño a la izquierda y el de Quectel a la derecha.

pruebasNBIoT

Tras estudiar y entender la sucesión de comandos necesaria, y con la información que nos ha facilitado Vodafone, hemos conseguido conectar ambos dispositivos a la red de forma correcta.

conexionserie

El eSpMART105 toma forma

Imagen 1

Dentro de la colaboración del B105 ESL con la empresa Valoriza nace el proyecto Lázaro, con el objetivo de crear un sistema para la detección automática de barreras usando visión por ordenador y realidad aumentada.

Además de este primer objetivo, el proyecto persigue otra importante meta, el desarrollo de una red de sensores inalámbrica para monitorizar las condiciones de vida de personas con necesidades especiales, como ancianos o personas con minusvalía.

Es dentro de este segundo objetivo donde nace nuestro wearable: eSpMART105.

El dispositivo que hemos desarrollado es una pulsera, capaz de medir la temperatura (ya sea ambiente o corporal del paciente), medir su ritmo cardíaco, su saturación de oxígeno y monitorizar su actividad diaria, detectando posibles caídas y avisando al personal que se encuentre a cargo de dicho paciente.

Imagen 2
Pulsera eSpMART105

Gracias a una aplicación móvil para Android, también desarrollada por nosotros, el personal sanitario puede en todo momento consultar el estado del paciente, ver un registro de sus últimas medidas, así como cambiar la periodicidad de las mismas, consultar su historial clínico, recibir alertas sobre posibles valores anómalos en el paciente o caídas y administrar, sencillamente desde el móvil, a todos los pacientes de la residencia.

Main_Activity2
Una de las vistas de la aplicación

La comunicación entre la pulsera y el móvil se realiza mediante Bluetooth Low Energy, el más actual de los estándares Bluetooth disponibles.

Además, en caso de que se detecte un evento de gran peligrosidad como una caída o un pulso anormalmente alto, la pulsera es capaz de realizar una búsqueda exhaustiva de puntos de acceso Wi-Fi almacenados en su base de datos y establecer conexión con ellos, enviando el aviso. Esto hace a nuestra solución capaz de comunicarse con dos de las tecnologías inalámbricas más ampliamente usadas en el mercado actual. Todo ello con un consumo muy bajo, que permite a la pulsera (dependiendo de los intervalos de medición de parámetros del paciente) una vida de hasta dos semanas. Para el desarrollo de esta pulsera nos hemos basado en el ESP32, un dispositivo genial para desarrollo debido a su integración en un reducido tamaño de Wi-Fi y Bluetooth, así como numerosos GPIO’s, I2C, SPI, UART, control para pantallas táctiles y mucho más.

Imagen 3
ESP32

La caja de la pulsera, así como su correa es también diseño nuestro. Ha sido impreso en material 3D, recurriendo a filamento rígido transparente para la caja, pues la rigidez de este material aporta robustez mecánica al diseño, y material blanco flexible para la correa, compuesto que la hace más cómoda de llevar.

Paralelo a este desarrollo hemos recurrido a relojes de la marca Pebble, que permiten programar aplicaciones en C e incorporan también comunicación Bluetooth y sensor de ritmo cardíaco. Gracias a este reloj podemos obtener datos nuevos del paciente como su nivel de actividad, sus pasos diarios y una segunda medición de ritmo cardíaco, que aporta robustez a la medida de nuestro sistema. Los datos que recoge esta otra pulsera son también enviados a la misma aplicación de Android, quedando por tanto, toda la información del paciente centralizada.

Obtención de indicadores de fatiga mediante el electroencefalograma.

gamma-brainwaves-facts-and-benefits

Desde el proyecto Simbiosys, buscamos nuevas formas de detección de fatiga. Puesto que el sistema está destinado a ser usado en un simulador para conductores de vehículos, se busca que sea lo menos intrusivo posible, para facilitar el movimiento y comodidad del conductor.

Con este fin se está desarrollando un sistema multisensor con una parte importante de investigación como es la detección de distintos estados de fatiga mediante la actividad cerebral del conductor.

Para la obtención del electroencefalograma (EEG) se eligió un casco con un único electrodo, ya que los EEG convencionales presentan más de veinte electrodos, lo cual sería muy intrusivo para el conductor.

21_electrodes_of_International_10-20_system_for_EEG.svg

Tras la obtención de la señal en bruto del cerebro, el sistema se basa en la detección de la cantidad de energía que existe en las diferentes bandas del cerebro. En este caso las bandas de interés serán la banda alpha, betha y tetha, todas ellas relacionadas con estados de cansancio, fatiga o sueño.

5d3d36b587c91d50c495eeb3ed8f5ca2

El sistema consta de dos partes diferenciadas, basadas en machine learning. En la primera parte se obtiene las características – la energía de cada banda- del sujeto en estado de consciencia (no fatigado) para formar dos clústeres.
2clus_2

El objetivo es generar dos esferas que engloben todas las características en este estado, de tal forma que, si en la segunda parte del algoritmo se obtiene alguna característica que no pertenece a los clústeres, se considera una anomalía. Será la acumulación de anomalías durante un periodo de tiempo la que nos indique la presencia de fatiga en el sujeto.