未知环境下机器人避障设计研究

本资料包含pdf文件1个，下载需要1积分

机械设计与制造Machinery Design & Manufacture第 10期2013年 10月未知环境下机器人避障设计研究刘 欢，王 健，李金凤，李金娜(沈阳化工大学，辽宁 沈阳 110142)摘 要：随着信息技术的发展，各个领域越来越需要高性能的自动化系统。机器人技术飞速发展，研究重点已经转向在复杂、未知、不可预测环境中独立工作的自主式智能机器人。介绍了机器人Q学习避障算法的实现方法，并构建了仿真实验平台，模拟了移动机器人在未知环境下自主地、安全地从起始点到达目标点的过程。通过仿真实验验证了Q学习实现机器人在未知环境下的行为选择控制是可行的、有效的，并验证机器人在未知环境下具有良好的越障性能。

关键词：机器人；Q学习算法；避障；神经网络中图分类号：TH16；TP242 文献标识码：A 文章编号：1001—3997(2013)10—0236—03Design of Robot Obstacle Avoidance in Unknown EnvironmentLIU Huan，WANG Jian，LI Jin-feng，LI Jin-na(Shenyang University of ChemicM Technology，Liaoning Shenyang 1 10142，China)Abstract：With the development ofinformation technology，high-pe咖邢僦 e automation systems are ， 珊i， required invarious lds．With rapid deve却 me nt ofrobotics technology，researchfocus has been shifted to al,tonolnous inteligent robotsworking independently in a complex，unknown，unpredictable environment．h describes the Q-learning algorithm to ach&veobstacle avoidance methods，and build a simulationplatform to simulate the process ofa mobile robot reachingthe targetfromthe startingpoint independently and safely in unknown environment．The simulation experiments validate that the control avera robot’S choice ofbehaviorin unknown environmentthrough Q-learningis asible and efective，and venfythat a robot hasa pe咖rlnol~e on obstacle crossingin unknown environme nt.

Key Words：Robot；Q-Learmng Algorithm；Obstacle Avoidance；Neural Network1引言随着社会信息技术的发展，工业、农业、国防等各个领域越来越需要高性能的自动化系统，机器人技术得到了深入的研究和发展，研究重点已经转向在复杂、未知、不可预测环境中独立工作的自主式智能机器人。Q学习，这个词是指该棚器 人通过实验，观察和推断，更新知识的能力。该_棚器 人只有通过不断的学习，以提高自身的适应能力，并最终可以学习到未知的环境中行为战略。近年来，机器 人具有自学习能力已成为新的研究热点，在这种情况下，采用强化学习的方法实现自主机器人的行为选择控制。通过仿真验证了所设计基于强化学习的机器人避障算法的可行性n_习。

2 Q学习避障算法采用 BP神经网络实现Q学习算法，BP神经网络实现 Q学习的过程，如图1所示。采用BP神经网络的方法来实现Q学习。

该网络共分为以下三层：输入层、隐含层和输出层，分别有Ⅳ、Ⅳ和 个单元翻。Q值用前向传播发产生。网络的误差信号aQ，根据公式：△Q= max q(s ，o)一Q(s ， )确定。然后根据梯度下降的思想，得到应用曰P神经网络实现 Q学习时的权值调整规律。下面讨论梯度VQ(s q)的计算方法。Q(s )对输出层与隐含层的权值v~k(j=l，?， ，k=l，?， )的梯度为：aQ s ， )一OQ s ，ak) tal】ik 0ck Ik式中：c -输出层的输入值；6广_隐含单元的输出。

图1 BP神经网络实现 Q学习Fig．1 BP Neural Network to Achieve Q-Learning／／ ，有 )-，(ck)'cr
卢
E vitby~： t式中 —输出层神经元的激励函数。

同理Q(s ，哦)对隐含层与输入层的权值W 的梯度为：来稿 日期：2012—12—14作者简介：刘 欢，(1980-)，男，辽宁沈阳人，博士研究生，讲师，主要研究方向：机械 工^智能等方向的教学和科研工作第 10期 刘 欢等：未知环境下机器人避障设计研究 2370Q【s ，q)一0Q(s。， )ac 型0w ac^ 0bi喝 0w式中： 隐含层单元的输入，即：d = W s。，bj_g(哆)， )一隐含层神经元的激励函数故：-
， ， 、g【 J ·× ( ∑izl 。

3仿真程序的设计流程及实现3．1仿真需求分析(1)首先 ，通过操作者对该环境采用二维建模的方法，依据操作者的需求对相关联的障碍物的形状、位置、数量、尺寸和其他参数进行设置f4I。

(2)操作者可以根据 自身的需要对机器人 目标点和出发点的位置进行设置。

(3)根据操作者对 目标的设置，进行相对应的二维图像运动仿真。

3．2仿真说明(1)坐标系：在这里的仿真中用到了机器人坐标系、大地坐标系、屏幕坐标系。其中机器人坐标系、大地坐标系用于获取环境信息和机器人状态信息，而屏幕坐标系用于仿真显示。

(2)环境建模 ：环境建模的目的是描述机器人所在的环境。

它包括仿真区域的长、宽、边界以及障碍物的大小、位置 、形状等 .

其结果一方面显示在屏幕上，同时又可供规划用。仿真中要求环境建模模块能对机器人所在区域及障碍物信息进行有效的描述，并能提供友好的人机接口，使环境建模能容易进行。

(3)障碍物表示：机器人工作空间的障碍物形状包括规则和不规则的。为充分描述障碍物的形状，定义了矩形、圆形 、扇形、多边行。并设计了基于顶点的表示方法，建立了障碍物的数据结构。

在仿真中，障碍物是用鼠标直接在屏幕上通过拖动来构造的，障碍物信息则由程序自动记录[41。

3．3总体设计过程及重要思想本软件是移动机器人通过自己学习自主的到达目标点的运动仿真软件。根据移动机器人程序模块化的设计要求。可以将设计分成三个模块设计，包括主程序框架模块设计 、数据处理模块设计和移动机器人仿真模块设计 。

(1)主程序框架模块。通过构建应用程序的人机交互界面，然后再构成整个应用程序的主框架，通过对应用程序模块进行有机连接，对用户事件实现响应，及内部结构化参数设计的传递 。

(2)数据处理模块。对机器人在移动过程中，产生了大量而复杂的计算，进行预处理，包括逻辑运算符，数字转换的处理。本模块通过对主程序框架所传递环境参数的设定，直接对移动机器人运动的环境认知模式进行判断，并且输出相应的参数。本软件的核心部分是数据处理模块l7l。

(3)移动机器人仿真模块。由数据处理模块给定位置参数，再通过matlab软件进行仿真分析，便可以绘出移动机器人的运动轨迹rs-al。

3．4仿真结果及分析机器人在这个环境下刚刚开始学习的情况机器人开始学习的情况，如图2所示。由图2可见，在学习初期机器人频繁地与障碍物碰撞，失败的情况较多。这说明机器人随机选择行为，正确的策略还没学习好。

图2机器人开始学习的情况Fig．2 The Situation of the Robot at the Beginning of Learning机器人在这个环境下经过一段时间学习之后的运动轨迹 ，如图3所示。机器人学习不久后的情况。由图 3可以看出机器人已较少与障碍物碰撞了，说明机器人在学习过程中。随机选择行为的策略逐渐消失，机器人已经逐渐掌握了正确的策略。

图 3机器人学习不久后的情况Fig．3 The Situation of the Robot after Le arning for a Short Time机器人在同一环境下(即障碍物分布、始终点都相同，也就是环境没有改变)学习控制策略，如图2一图4所示。

机器人在这个环境下经过充分学习后的运动轨迹，如图 4所示。机器人学习后期的情况。由图 4可知，经过充分学习，机器人避碰行为、绕障碍物行走行为、奔向目标行为的输入状态空间到输出状态空间之间已建立起正确的映射关系，机器人已经完全掌握了行为策略。此时机器人完全按照自身的策略选择行为，随机选择行为几乎不起作用。

图4机器人学习后期的情况Fig．4 The Situation of the Robot after Learning for a Long Time从仿真实验中可以得知，利用强化学习实现机器人行为学习是行之有效的。在上述的实验里，在没有赋予机器人行为规则选择的情况下，机器人不是根据这些规则，作出判断。而是自主地通过学习，来学会这些规则。因此，在各种不确定性 ，复杂的环境中使用这种机器人进行强化学习，可以顺利完成任务 21。

238 机 械 设 计与 制造No．100ct．20134结论Q学习算法是强化学习的一种重要算法，而强化学习是现今一种非常重要的机器人学习方法，强化学习已经成为了现如今机器人系统实现控制的主流学习方法。通过仿真验证了采用Q学习实现机器人在未知环境下的行为选择控制是可行的、有效的，并具有良好的越障性能。

参考文献[I]张祺，钟碧良，杨宜民_基于动作视觉协调的足球机器人视觉跟踪方法[J]计算机工程与应用，1999(4)：22—27.

(Zhang Qi，Zhong Bi-liang，Yang Yi—min．Method of soccer robot visualtracing based on action vision cordination[J]．Computer Engineering andApplications，1999(4)：22—27．)[2]曾一民．基于超声波的机器人避障和目标跟踪方法的研究[D]．成都：电子科技大学，2008.

(Zeng Yi—min．Ultrasound—based robot obstacle avoidance and targettrackingmethod study[D]．Chengdu：University ofElectronic Science andTechnology MasterThesis，2008．)[3]邢高峰．浅谈智能机器人避碰行为的学习方法[J]电脑知识与技术，2007(23)：22—24.

(XingGao-feng．Inteligent robot’s obstacle avoidancelearningways[J]ComputerKnowledgeandTechnology。2007(23)：22—24．)[4]黄秀琴，沈惠平，吉晓民．一种改进型三平移并联机器人运动仿真[J]常州工学院学报，2005(12)：12—16.

(HuangXiu-qin，ShenHui—ping，JiXiao—min，YangTing-li．Kinematicssimulationofthreetransferparallel robot[J]JournalofChangzhouInstituteofTechnology，2007(23)：22—24．)[5]崔月盟．基于强化学习和视觉导航的移动机器人控制[D]．天津 ：河北工业大学 ，2005.

(Cui Yue—meng．Based on reinforcement learning and control of mobilerobotvisualnavigation[D]．Tianjin：HebeiUniversityThesis，2005．)[6]田从丰．基于强化学习的轮式移动机器人避障研究[D]．沈阳：东北大学，2009.

(Tian Cong-feng．Based on Reinforcement Learning Research wheeledmobile robot obstacle avoidance[D]．Shenyang：Northeastern University，2009．)[7]李雯雯．基于多种传感器的自动导航小车避障的研究[D]．西安 ：西安科技大学，2008.

(Li Wen-wen．Based on a variety of sensors auto navigation car obstacleavoidance research[D J．Xi’an：Xi’anUniversity ofTechnology，2008．)[8]徐莉．Q—learning研究及其在AUV局部路径规划中的应用 [D]．哈尔滨：哈尔滨工程大学，2003.

(Xu Li．Q-learning research and their AUV local path planningapplication[D]．Harbin：Harbin Engineering University，2003．)[9]付岩．智能水下机器人全局及局部路径规划技术研究[D]．哈尔滨 ：哈尔滨工程大学，2004.

(Fu Yan．AUV global and local path planning technology researchlD J.

Harbin：Harbin Engineering University，2004．)[10]乔永兴 主式移动机器人的路径规划[D]．南宁：广西大学，2003.

(Qiao Yong-xing．Autonomous mobile robot path planning[D]．Nanning：Guangxi University，2004．)[11]杨东梅．基于双目视觉的移动机器人局部路径规划[D]．哈尔滨 ：哈尔滨工程大学，2004.

(Yang Dong-mei．Binocular vision-based local path planning of mobilerobot[D]．Harbin：HarbinEngineeringUniversity，2004．)[12]侯国柱，张晓峰．基于 Pro／E和ADAMS的机器人虚拟设计与仿真[J].

机械设计与制造，2009(3)：23—27.

(HouGuo-zhu，ZhangXiao-feng．Virtualdesignand simulationofa robotbased on Pro／E and ADAMS[J]．Machinery Design＆Manufacture，2009(3)：23—27．)(上接第235页)从上表可以计算出，优化后的结构相对于原结构重量有了增加，但是应力和刚度都满足了设计要求，达到优化目的。

5结束语系统阐述了基于车架实验设计的结构优化过程，选取影响大的部件进行结构优化设计，其优化后结果明显优于优化前方案。对于多参数结构优化问题，应用优化思路进行结构优化，能减小设计的盲目性和设计成本，加快新产品的设计开发。

参考文献[1]王伟，杨伟 ，赵美英．大展弦比飞翼结构拓扑、形状与尺寸综合优化设计[J]．机械强度，2008，30(4)：596—600.

(Wang Wei，Yang Wei，Zhao Mei-ying．Integrate topology／shape／sizeoptimization into high aspect—ratio wing design[J]．Journal of MechanicalStrength，2008，30(4)：596—600．)【2j Navarina Fmuinos I，Colominas I，Casteleiro M．Topology optimization ofstructures：a minimum weight approach with stress constraints[J]_advancesinEngineering software，2005(36)：599—606.

[3]Torstenfeh B，Klarbring A．Conceptual opimal design of modular carproduct families using simultaneous size、shape and topology optimization[J]_Finite Elements in Analysis and Design，2007(43)：1050-1061.

[4]廖抒华，成传胜．汽车悬置支架的仿真分析与尺寸优化[J]．煤矿机械 ，2012．33(1)：23—25.

(Liao Shu-hua，Cheng Chuan-sheng．Simulation analysis and sizeoptimization ofvehicle mount bracket[J J．Coal Mine Machinery，2012，33(1)：23—25．)[5]张胜兰，郑冬黎，郝琪．基于 hyperworks的机构优化设计技术[M]．北京．机械工业出版社，2007(10)：260-268.

(Zhang Sheng-lan，Zheng Dong-li，Hao Qi．Optimization design of themechanism based on HyperWorks Technology[M]．Beijing．MechanicalIndustryPress，2007(10)：260-268．)[6]M．Zhou，N．Pagaldipti，H．L．Thomas．2000：An integrated approach fortopology，sizing and shape optimization[J]．AIAA一2000-4946.

[7]郝琪 ，张继伟．车门结构优化设计的灵敏度分析研究[Jj．汽车技术，2010(5)：40—44.

(Hao Qi，Zhang Ji-wei．The Study on car door optimization based onsensitivityanalysis[J]．AutomobileTechnology．2010(5)：4O—44．)[8]李志祥，王军杰，吴德宏．边梁式车架的结构灵敏度分析及设计优化[J]．机械设计与制造，2010(3)：48—50.

(Li Zhi-xiang，Wang Jun-jie，Wu De—hong．Structure sensitivityanalysis and design optimization of fringe-beam frame l Jj．MachineryDesign＆Manufacture．2010(3)：48—50．)