IA, inteligencia artificial, tráfico
15 noviembre 2022.- No importa cuán avanzados se vuelvan los vehículos modernos, incluidos aquellos capaces de conducir de forma autónoma, no es probable que el hecho de estar atrapados en el intenso tráfico urbano desaparezca en el corto plazo utilizando la tecnología tradicional de señales de tráfico para controlar el flujo de vehículos.
Pero los avances recientes en inteligencia artificial (IA) y aprendizaje automático se han mostrado prometedores en la optimización del control de señales de tráfico que pueden hacer que conducir en áreas urbanas congestionadas sea menos frustrante.
Investigadores de la Universidad Chung-Ang de Corea del Sur están experimentando con algoritmos de aprendizaje por refuerzo (RL) para resolver problemas de control de señales de tráfico no estacionarias. El algoritmo personaliza automáticamente las "funciones de recompensa" en función de la clasificación de los regímenes de tráfico.
RL utiliza un método de resolución de problemas de "ensayo y error" para la capacitación de agentes en el campo del aprendizaje automático.
RL es uno de los tres paradigmas básicos de aprendizaje automático, junto con el aprendizaje supervisado y el aprendizaje no supervisado. Es un área de aprendizaje automático que se enfoca en cómo los agentes inteligentes (el semáforo) deben tomar acciones en un entorno para maximizar la recompensa, que son los vehículos que viajan sin interrupciones en escenarios de tráfico urbano.
Básicamente, la función de recompensa de un algoritmo de aprendizaje automático es un incentivo que le dice al agente qué es correcto y qué es incorrecto mediante la recompensa y el castigo. Pero, a menudo, los algoritmos de RL deben sacrificar las recompensas inmediatas (algunos conductores pueden quedarse atascados en un semáforo en rojo) para maximizar las recompensas totales (mejor flujo de tráfico).
Los semáforos existentes se basan en un "controlador basado en reglas" (rojo significa detenerse y verde significa avanzar). El objetivo es reducir los retrasos de los vehículos en condiciones de tráfico ligero y maximizar el rendimiento de los vehículos durante los períodos de congestión vial.
Los controladores de semáforos subóptimos como estos afectan la vida diaria de las personas que viven en áreas urbanas que con frecuencia enfrentan congestiones y demoras. Los semáforos convencionales con tiempos de estado fijos no están bien equipados para aliviar la congestión del tráfico.
Además, los controladores de semáforos existentes no pueden adaptarse a los patrones de tráfico aleatorios y en constante cambio a lo largo del día. Aunque un controlador de tráfico humano podría funcionar mejor que un controlador fijo, solo puede administrar unas pocas intersecciones a la vez.
Uno de los mayores desafíos para los investigadores fue implementar RL en un entorno no estacionario, que son vehículos que pasan aleatoriamente por las intersecciones. La investigación actual ha explorado los algoritmos de aprendizaje por refuerzo (RL) como una posible solución para aliviar los problemas de tráfico. Sin embargo, los algoritmos de RL no siempre logran los mejores resultados debido a la naturaleza dinámica de los entornos de tráfico.
Para ayudar a abordar mejor esto, los investigadores han desarrollado lo que llaman un "modelo meta-RL" que ajusta su objetivo en función del entorno del tráfico. El algoritmo meta-RL tiene una cobertura de área amplia y supera a los algoritmos alternativos existentes, según los investigadores de la Universidad Chung-Ang.
Los dos objetivos principales del modelo de aprendizaje automático meta-RL son maximizar el rendimiento de los vehículos en las intersecciones durante las horas pico y minimizar los retrasos durante las horas pico, como durante las horas pico. Los investigadores, dirigidos por el profesor Keemin Sohn, desarrollaron un modelo meta-RL basado en el contexto incorporado en la red Q profunda ampliada (EDQN) para el control de las señales de tráfico.
Así es como funciona el modelo meta-RL. Primero, determina el tráfico como "saturado" o "no saturado" utilizando una variable latente que indica la condición ambiental general. Según el flujo de tráfico actual, el modelo maximiza el rendimiento o minimiza los retrasos de forma similar a un controlador humano. Lo realiza mediante la implementación de ciclos de semáforos (acción).
La acción está controlada por la provisión de una "recompensa". La función de recompensa se establece en +1 o -1 correspondiente a un mejor o peor desempeño en el manejo del tráfico en relación con el intervalo de semáforo anterior. Además, el EDQN actúa como un decodificador para controlar conjuntamente las señales de tránsito para múltiples intersecciones.
"Los estudios existentes han ideado algoritmos meta-RL basados en la geometría de las intersecciones, las fases de los semáforos o las condiciones del tráfico", explicó el profesor Sohn. "El meta-RL funciona de forma autónoma para detectar estados de tráfico, clasificar regímenes de tráfico y asignar fases de señal en consecuencia".
Los investigadores entrenaron y probaron su algoritmo meta-RL utilizando Vissim 21.0, que es un simulador de tráfico comercial utilizado por ingenieros para modelar las condiciones de tráfico del mundo real.
El equipo instaló una red de transporte en el suroeste de Seúl que consta de 15 intersecciones para servir como un entorno de prueba del mundo real. Después del meta-entrenamiento, el modelo RL podría adaptarse a nuevas tareas sin ajustar sus parámetros.
Estos experimentos muestran que el modelo propuesto podría cambiar las tareas de control sin ninguna información de tráfico explícita. También podría diferenciar entre recompensas según el nivel de saturación de las condiciones del tráfico.
El equipo de investigación descubrió que el modelo meta-RL basado en EDQN superó a los algoritmos existentes para el control de señales de tráfico. Sin embargo, los investigadores enfatizaron la necesidad de un algoritmo aún más preciso que tenga en cuenta los diferentes niveles de saturación de una intersección a otra en un área urbana.
"El marco, si lo adoptan las agencias de control de semáforos, podría generar beneficios de viaje que nunca antes se habían experimentado", dijo el profesor Sohn.
Los hallazgos del estudio se publicaron en la revista " Ingeniería civil y de infraestructura asistida por computadora " y estuvieron disponibles en línea el 30 de septiembre.
COMENTARIOS