Un proyecto de estudiantes en la universidad de Kutztown ha conseguido que Alexa de Amazon hable a los sistemas AV para aulas de Extron

Hemos terminado con éxito el proyecto CT‑Toolbox gracias en parte a nuestros cursos básicos de informática y tecnología de la información. La facilidad de uso del Global Scripter de Extron y Alexa Skills Kit fueron de gran ayuda, así como la paciente ayuda proporcionada por nuestros asesores, incluyendo Extron.

La universidad de Kutztown en Pensilvania fue fundada en 1866 bajo el nombre de Keystone State Normal School para formar a maestros que educaran a los trabajadores del cada vez más industrializado Condado de Berks, 80 km al noroeste de Filadelfia. En los 150 años siguientes, se ha convertido en una institución de educación superior líder en la región, ofreciendo 130 programas de pregrado y 31 programas universitarios a un cuerpo estudiantil de aproximadamente 8.000 alumnos. Tres de estos estudiantes y sus asesores docentes han terminado recientemente un proyecto denominado “CT‑Toolbox”, que conecta Alexa de Amazon con el control de Extron para permitir un control por voz de los sistemas AV para aulas de Extron instalados en la escuela.

Retos

Cuando estaban considerando las posibilidades para su proyecto sénior, los estudiantes Justin Harris, William “Billy” Henry y Hannah Moyer, especializados en informática y tecnología de la información, decidieron formar un equipo para crear un proyecto piloto que promoviera el sólido compromiso de la escuela con la American with Disabilities Act (ADA). Se llamó Classroom Technology Toolbox, o CT-Toolbox, y apoya este compromiso proporcionando una manera de controlar los sistemas AV para aulas con comandos de voz. El proyecto fue una sugerencia de la Profesora de informática y tecnología de la información Donna DeMarco, quien es además co‑fundadora de una empresa que proporciona formación online y soluciones de desarrollo a empresas.

Solución

El Director de tecnología para aulas de la universidad, Ty Schwab orientó al equipo de estudiantes, proporcionó los recursos de hardware y software, y aseguró el uso de un aula para el desarrollo del proyecto. Troy Weidner, predecesor de Ty y recientemente retirado tras 35 años de dedicación, compartió las funciones de orientación. Robert Kennedy, Ingeniero de sistemas multimedia y de control de la universidad vecina de Scranton, proporcionó las ideas que obtuvo con su exitoso proyecto de control por voz de Alexa‑Extron, racionando sus conocimientos para que los estudiantes pudieran encontrar su propio camino. Los Gerentes de ventas y marketing de Extron Jason Bond y Peter Knapp ayudaron con los drivers de sistemas de control Extron y con sugerencias de programación del software Global Scripter^® de Extron.

Podio AV de aulas con equipos de Extron utilizado como banco de pruebas para el CT‑Toolbox

La universidad de Kutztown tiene 235 salas equipadas con sistemas AV conectados a la red de la escuela. Estos sistemas comparten un diseño común. La versión utilizada para el proyecto CT‑Toolbox está formada por un podio montado en torno a un ordenador de escritorio con un monitor local y un conmutador escalador para presentaciones de ocho entradas IN1608 xi IPCP de Extron. El conmutador acomoda una amplia variedad de fuentes AV y dispositivos de visualización, e incluye un procesador de control AV integrado y amplificador estéreo de 50 W. Las fuentes incluyen un ordenador, una cámara de documentos y un reproductor de Blu‑ray. Un proyector con entrada HDMI muestra el vídeo, mientras que el audio es reproducido a través de los altavoces montados en techo. Un panel de botones eBUS EBP 200 proporciona selección de fuente, control del proyector y control de volumen. En salas más grandes, la conmutación se lleva a cabo con una DTP CrossPoint 84 4K, matriz de conmutación con escalador para presentaciones de 8x4 que está conectada a un procesador de control IPCP Pro 550 y una pantalla táctil TouchLink Pro.

El proyecto continuó con un análisis en profundidad de la documentación de Alexa AWS y del Global Scripter de Extron. Las funciones para el desarrollo se asignaron así: Justin, líder del equipo, se hizo cargo del hardware, drivers y la codificación del controlador Global Scripter; Billy se encargó de la codificación de Alexa y los servicios en la nube de AWS; Hanna cubrió el diseño y comprobación de UX – User Experience.

Alexa Skills Kit y el Global Scripter de Extron son las herramientas clave para el desarrollo del CT‑Toolbox

El diagrama de arquitectura que se muestra en la barra lateral a la derecha de este artículo ilustra dos servicios de software, Alexa Skill y el cliente Toolbox, implementando el proceso de control por voz. El equipo del proyecto utilizó Alexa Skills Kit – ASK para crear habilidades personalizadas de Alexa y que controlaran el hardware del podio AV. El usuario dice un comando utilizando la palabra de activación “Toolbox” en el dispositivo Echo™. En la nube de Amazon Web Services – AWS, Alexa Skill traduce el habla a cadenas de datos JavaScript Object Notation – JSON, que se pasan al código de aplicación de habilidades llamado función Lambda. La función Lambda disecciona los datos JSON en las partes necesarias para activar las acciones del hardware deseadas, basándose en la lista de funciones Lambda de las diez a veinte palabras habladas que un usuario puede utilizar para indicar una “intención”. El equipo escribió las funciones Lambda en Python, utilizando el Global Scripter de Extron. El código funciona en el servicio en la nube AWS Lambda.

La nube de Amazon se comunica con el procesador de control de Extron

Los comandos diseccionados son entregados desde la nube al cliente Toolbox a través de Simple Queue Service – SQS, un servicio gestionado de mensajes en cola. El cliente Toolbox, que funciona con el Global Scripter del procesador de control Extron del podio AV, comunica a este procesador de control que envíe el comando de hardware requerido al dispositivo aplicable: por ejemplo, “encender el proyector”. El dispositivo es mandado al estado requerido mediante el código del driver del hardware que se comunica a través del puerto apropiado del procesador de control con este dispositivo al que se envía el comando, por ejemplo a través de RS‑232 serie, USB, Ethernet. Todo el proceso se revierte para traducir el estado del dispositivo al que se envió el comando en una confirmación verbal de Alexa de que el comando se ha ejecutado.

Resultados

A finales de noviembre de 2020, el equipo de estudiantes del CT‑Toolbox y sus asesores se reunió para el día de la demostración, en el que los estudiantes informaron sobre los resultados de su proyecto. Demostraron satisfactoriamente la viabilidad del control por voz con manos libres de los sistemas AV para aulas estándar de la escuela. Puedes ver un fragmento de la presentación en vídeo del día de la demostración que encontrarás en la barra lateral a la derecha del artículo. Antes de su puesta en marcha en el campus habría que solucionar algunos problemas prácticos como: la seguridad del sistema con base en la nube, alojando el Toolbox cliente en la red en lugar de en podios AV, y la cautela de que Alexa “escuche siempre”. Sin embargo, el asesor Ty Schwab ha comentado que él definitivamente consideraría la solicitud a ADA por parte de un profesor para implementar el CT‑Toolbox en un aula específica. Tras la demostración de ese día, el CT‑Toolbox recibió una calificación positiva. Los tres estudiantes se graduaron y han comenzado sus carreras.