基于CMAC强化学习的交叉口信号控制  

Intersection Signal Control Based on Reinforcement Learning with CMAC

作　　者：温凯歌[1] 杨照辉[1] 

机构地区：[1]长安大学电子与控制工程学院,西安710064

出　　处：《计算机工程》2011年第17期152-154,共3页Computer Engineering

基　　金：中央高校基本科研业务费专项基金资助项目(CHD2009JC060)

摘　　要：采用神经网络值函数逼近的强化学习方法处理交叉口的信号控制。根据交通流及交叉口信号特征,建立强化学习的状态空间、动作空间和回报空间,以最小化车辆在交叉口的延误为控制目标,对信号进行优化控制。引入小脑模型关节控制器神经网络对强化学习(RL)的Q值进行逼近。在变化的交通条件下,使用典型交叉口对提出的RL模型进行验证,同传统的定时控制和全感应控制进行对比分析。仿真结果表明,RL控制器具有较强的学习能力,可以适应交通流的动态变化,稳定性好、自适应性强,对于环境变化具有较强的适应能力。The intersection signal control is disposed with the Reinforcement Learning（RL） method based on the neural network function approximate.Considering the stochastic characteristic of the traffic system,an adaptive RL control scheme,based on Cerebellar Model Articulation Controller（CMAC）,is introduced in the traffic signal control systems.Besides,CMAC is introduced to approximate the RL agent Q value.The model is tested on a typical isolated traffic intersection comprised of five four-legged signalized intersections,and compared to full-actuated control and pre-timed control.Analysis of simulation results using this approach shows significant improvement over traditional full-actuated control,especially for the case of accident and over-saturated traffic demand.

关 键 词：交通控制 强化学习 小脑模型关节控制器 非均匀量化 信号交叉口 

分 类 号：U491[交通运输工程—交通运输规划与管理]