Prototipo de sistema de control por voz para la colaboración Humano-Robot en la construcción robotizada en madera

Abstract

El presente proyecto I+D tiene como objetivo principal desarrollar un prototipo de sistema de control por voz para la configuración y ajuste del sistema de coordenadas en un robot industrial KUKA, aplicado a procesos de construcción robotizada en madera. Este sistema integra reconocimiento de voz (Speech-To-Text, STT), programación visual en Grasshopper y control de trayectorias mediante KUKA|prc y RoboDK, permitiendo una calibración más rápida, intuitiva y segura, prescindiendo del uso intensivo del controlador principal SmartPAD. El sistema considera un flujo de trabajo propuesto que inicia con la captura de audio mediante un micrófono inalámbrico con cancelación de ruido, cuya transcripción es procesada en Python para interpretar comandos direccionales y rotacionales. Estos comandos se simulan primero en KUKA|prc, generando una validación visual que, junto a una retroalimentación auditiva del sistema (Text-To-Speech, TTS), permite confirmar la instrucción proporcionada antes de su ejecución física. Una vez validada, la trayectoria se envía a RoboDK para realizar la conexión online al robot real y ejecutar la acción. La metodología de desarrollo se estructura en cuatro fases: (1) integración de reconocimiento de voz a Grasshopper, evaluando cinco motores STT (Microsoft Azure Speech SDK, Google Speech Recognition, Vosk, Vosk small y OpenAI Whisper); (2) simulación offline de comandos y detección de errores, donde se simulan movimientos dados por instrucciones por voz para identificar la tasa de aciertos de ejecución y errores; (3) simulación online, en la que se realiza la conexión al robot KUKA KR 210 R3100 2-C mediante RoboDK para probar trayectorias en condiciones controladas; y (4) validación experimental en entorno real de trabajos de mecanizado en madera, midiendo la precisión y efectividad del flujo de trabajo en condiciones reales.

This R&D project aims to develop a voice-controlled system prototype for configuring and adjusting the workpiece coordinate system in a KUKA industrial robot, intended for robotic timber construction processes. The system integrates Speech-to-Text (STT) recognition, visual programming in Grasshopper, and trajectory control via KUKA|prc and RoboDK, enabling faster, more intuitive, and safer calibration while reducing reliance on the SmartPAD. The project follows a workflow that begins with audio capture through a wireless microphone with noise cancellation, whose transcription is processed in Python to interpret both translational and rotational commands. These commands are first simulated in KUKA|prc, providing visual validation which, combined with Text-to-Speech (TTS) auditory feedback, allows the operator to confirm the instruction before physical execution. Story is sent to RoboDK to establish an online connection with the real robot and execute the commanded movement. The development methodology is structured into four stages: (1) Integration of voice recognition into Grasshopper, evaluating five STT engines (Microsoft Azure Speech SDK, Google Speech Recognition, Vosk, Vosk Small, and OpenAI Whisper); (2)Offline simulation of commands and error detection, where voice-given instructions are simulated to assess execution accuracy and identify errors. (3) Online simulation, in which a connection is established with the KUKA KR 210 R3100-2C robot via RoboDK to test trajectories under controlled conditions; and (4) Experimental validation in a real timber machining environment, measuring precision and workflow effectiveness under actual working conditions.